SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个概念简单但经验强大的抽象摘要框架SimCLS,它可以通过将文本生成公式化来弥合学习目标与当前占主导地位的序列到序列学习框架产生的评估指标之间的差距。无参考评估问题(即,质量评估)。实验结果表明,与现有的最高评分系统的微小修改,SimCLS可以提高现有的高性能模型的性能由大幅度。特别是,在CNN/DailyMail数据集上,相对于BART的绝对改进为2.51,相对于PEGASUS的ROUGE-1的绝对改进为2.50,将最先进的性能提升到了一个新的水平。我们已经开源了我们的代码和结果:https://github.com/yixinL7/SimCLS。我们提出的模型的结果已经部署到ExplainaBoard平台,这使得研究人员能够以更细粒度的方式了解我们的系统。
2021-06-03 cs.CL
Alleviating Exposure Bias via Contrastive Learning for Abstractive Text Summarization
The Hong Kong Polytechnic University(香港理工大学)
编码器-解码器模型在抽象文本摘要中取得了显著的成功,其目的是将一个或多个文档压缩成较短的版本而不丢失基本内容。不幸的是,这些模型在训练和推理之间存在差异,即,曝光偏差问题。在训练阶段,通过教师强制,这些模型被优化以最大化黄金摘要的可能性,给定黄金摘要令牌作为解码器的输入,而在推理时,给定令牌被生成的令牌替换。因此,很可能会生成低质量的摘要。为了解决这个问题,我们建议利用对比学习来降低这些低质量摘要的可能性,同时增加黄金摘要的可能性。由于我们的解决方案扩展了模型在训练过程中感知到的状态,我们希望可以缓解暴露偏差问题。我们的实验证明,我们的方法有效地提高了最先进的模型在不同数据集上的性能。
2021-08-26 cs.CL
Improving Factuality of Abstractive Summarization via Contrastive Reward Learning
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种结合奖励学习与事实性指标的对比学习框架,使抽象式摘要模型从事实性反馈中学习,从而生成更符合事实的摘要。
2023-07-10 cs.AI cs.CL
CaPE: Contrastive Parameter Ensembling for Reducing Hallucination in Abstractive Summarization
Salesforce AI Research(赛富时人工智能研究院);Hugging Face(抱抱脸公司)
幻觉是神经抽象摘要模型的一个已知问题。最近的研究表明,幻觉的程度可能取决于训练数据中的错误。在这项工作中,我们提出了一种新的方法,称为对比参数集成(CaPE)更有效地使用训练数据,利用训练样本中的噪声变化,以减少幻觉。我们首先使用不同的自动事实度量从训练数据中选择干净和有噪声的子集。然后,我们微调一个基本的摘要模型,这是在所有的训练样本,在干净的(嘈杂的)子集,以获得一个\textit{expert}(\textit{anti-expert})模型。最后,根据\textit{expert}模型和\textit{anti-expert}模型参数的差异,调整基础模型的参数,使基础模型向\textit{expert}模型靠拢,向远离\textit{anti-expert}模型靠拢。实验结果表明,CaPE提高了不同自动事实度量和人工评估的性能,XSUM和CNN/DM数据集的摘要级依赖弧蕴涵准确度最大分别提高了16.69%和15.78%.实际性能的提高不会降低其他信息性指标(如ROUGE)的性能。
2022-05-20 cs.CL
Contrastive Attention Mechanism for Abstractive Sentence Summarization
Institute of Artificial Intelligence, Soochow University(苏州大学人工智能研究院);School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Alibaba DAMO Academy(阿里巴巴达摩院);School of Engineering, Westlake University(西湖大学工学院)
我们提出了一个对比注意力机制,以扩展序列到序列的抽象句子摘要任务,其目的是生成一个简短的摘要给定的源句子的框架。对比注意力机制包含两类注意:一类是注意源句相关部分的常规注意,另一类是注意源句不相关或不太相关部分的对手注意。两种注意力都以相反的方式进行训练,从而通过新的softmax和softmin功能鼓励传统注意力的贡献,并阻止对手注意力的贡献。在基准数据集上的实验表明,与传统的注意力机制相比,本文提出的对比注意力机制更能集中于摘要的相关部分,大大提高了摘要的性能。我们在https://github.com/travel-go/Abstractive-Text-Summarization上发布代码
2019-10-30 cs.AI cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University(乔治城大学);Adobe Research(奥多比研究院)
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型,用于对单个较长形式的文档(例如,研究论文)。我们的方法包括一个新的分层编码器,模型的话语结构的文档,和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明,我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
Towards Argument-Aware Abstractive Summarization of Long Legal Opinions with Summary Reranking
University of Pittsburgh(匹兹堡大学)
本文提出一种论证感知的长法律意见书生成式摘要方法,通过论证角色信息生成候选摘要并依据论证结构对齐重排序,在长法律意见书数据集上优于多个强基线。
2023-06-01 cs.CL
Structure-Aware Abstractive Conversation Summarization via Discourse and Action Graphs
Georgia Institute of Technology(佐治亚理工学院)
摘要会话摘要是近年来研究的热点。然而,这些生成的摘要通常存在内容不足、冗余或不正确的问题,这主要是由于人与人之间交互的非结构化和复杂特性。为此,我们建议显式地建模会话中的丰富结构,以获得更精确和准确的会话摘要,首先通过结构化图将话语和动作三元组(“谁做什么”)之间的话语关系纳入话语中,以更好地编码会话,然后设计一个多粒度解码器,通过结合所有级别的信息来生成摘要。实验表明,我们提出的模型优于国家的最先进的方法和推广以及在其他领域的自动评估和人类的判断。我们已在https://github.com/GT-SALT/Structure-Aware-BART上公开发布了我们的代码。
2021-04-16 cs.CL
Novel Chapter Abstractive Summarization using Spinal Tree Aware Sub-Sentential Content Selection
McGill University(麦吉尔大学);AWS AI Labs(AWS人工智能实验室);Columbia University(哥伦比亚大学);University of Michigan(密歇根大学)
摘要小说章节是一项艰巨的任务,由于输入的长度和事实,出现在所需的摘要从多个地方的内容在整个章节。我们提出了一个流水线提取抽象的方法,提取步骤过滤的内容被传递到抽象组件。非常长的输入也会导致数据集高度偏向于提取摘要的负面实例;因此,我们采用边际排名损失进行提取,以鼓励正面和负面示例之间的分离。我们的提取组件在成分级别上操作;我们对这个问题的处理方法丰富了文本的脊椎树信息,该信息提供了句法上下文(以成分的形式)的提取模型。我们显示了3.71胭脂-1点的最佳结果,在现有的新章节数据集上的先前工作中报告的改进。
2022-11-09 cs.CL
Global-aware Beam Search for Neural Abstractive Summarization
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
针对传统束搜索存在的局部最优性问题,提出了一种基于束搜索的神经摘要算法,该算法具有全局注意力分布的意识。具体地说,提出了一种新的全球协议的基础上的注意力分配规定的全球最优假设应该如何参加的来源。然后,开发了全局评分机制来调节束搜索,从而以接近全局最优的方式生成摘要。这种新颖的设计具有独特的性质,即,可以在推断之前预测全局注意力分布,使得能够通过全局评分机制逐步改进束搜索。在九个数据集上的大量实验表明,即使使用经验超参数,全局(注意力)感知推理也显着改善了最先进的摘要模型。该算法也被证明是强大的,因为它仍然产生有意义的文本与腐败的注意力分布。代码和一套全面的例子是可用的。
2021-10-26 cs.CL
Spotify at TREC 2020: Genre-Aware Abstractive Podcast Summarization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Spotify
本文描述了我们提交给2020年TREC(文本检索会议)播客轨道摘要任务的内容。这项挑战的目标是使用自动生成的播客音频转录来生成简短、信息丰富的摘要,其中包含播客片段中存在的关键信息。由于播客不同的风格,主题和粒度的信息,我们提出了两个摘要模型,明确考虑到体裁和命名实体,以生成适当的播客风格的摘要。我们的模型是抽象的,并使用创建者提供的描述作为基础事实摘要进行监督。提交的摘要的结果表明,我们最好的模型实现了1.58的总质量分数相比,创建者的描述和基线抽象系统,都得分1.49(9%的改进),由人类评估。
2021-04-07 cs.CL
Sentiment-Aware Extractive and Abstractive Summarization for Unstructured Text Mining
Department of Information Systems and Analytics(信息系统与分析系);National University of Singapore(新加坡国立大学)
本文提出一种结合情感意识的摘要方法,通过整合情感信号提升非结构化文本摘要的质量,以增强动态在线环境中的决策能力。
2025-12-23 cs.CL
Enhancing Factual Consistency of Abstractive Summarization
Microsoft Cognitive Services Group(微软认知服务团队);University of Notre Dame(圣母大学)
自动摘要经常歪曲或捏造事实的文章。摘要与原文之间的这种不一致严重影响了其适用性。我们提出了一个事实感知的摘要模型FASum提取和整合的事实关系到摘要生成过程中,通过图形注意。然后,我们设计了一个事实校正模型FC自动纠正现有系统生成的摘要中的事实错误。实验结果表明,与现有系统相比,基于事实感知的摘要生成的摘要具有更高的事实一致性,而修正模型仅通过修改少量关键词就能提高摘要的事实一致性。
2021-03-15 cs.CL
Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization
The University of Adelaide(阿德莱德大学)
多文档摘要中的一个关键挑战是捕获输入文档之间的关系,以区分单文档摘要(SDS)和多文档摘要(MDS)。现有的MDS工程很少解决这个问题。一种有效的方法是对文档位置信息进行编码,以帮助模型捕获跨文档关系。然而,现有的MDS模型,如基于转换器的模型,只考虑令牌级的位置信息。此外,这些模型无法捕捉句子的语言结构,这不可避免地导致在生成的摘要混乱。因此,在本文中,我们提出了文档感知的位置编码和语言指导的编码,可以融合Transformer架构的MDS。对于文档感知的位置编码,我们引入了一个通用协议来指导文档编码函数的选择。对于语言引导的编码,我们建议将句法依赖关系嵌入到依赖关系掩码中,并使用简单但有效的非线性编码学习器进行特征学习。大量的实验表明,该模型可以生成高质量的摘要。
2022-09-13 cs.CL
Reinforcement Learning for Abstractive Question Summarization with Question-aware Semantic Rewards
U.S. National Library of Medicine(美国国家医学图书馆)
在线消费者健康问题的增长导致了对可靠且准确的问答系统的需求。最近的一项研究表明,消费者健康问题的手动摘要在检索相关答案方面带来了显着的改善。然而,由于训练数据的缺乏以及相关子任务(如问题焦点和类型识别)的复杂性,长问题的自动摘要是一项具有挑战性的任务。在本文中,我们介绍了一个基于强化学习的抽象问题摘要框架。我们提出了两个新的奖励获得的下游任务(i)问题类型识别和(ii)问题焦点识别正规化的问题生成模型。这些奖励确保生成语义有效的问题,并鼓励在问题摘要中包含关键医学实体/焦点。我们在两个基准数据集上评估了我们提出的方法,并在最先进的模型上实现了更高的性能。对摘要的人工评估表明,与基线摘要相比,生成的问题更加多样化,事实不一致的情况更少
2021-07-01 cs.CL
TANet: Thread-Aware Pretraining for Abstractive Conversational Summarization
Beihang University(北京航空航天大学);Meituan(美团)
虽然预训练的语言模型(PLM)已经取得了巨大的成功,并成为自然语言处理的一个里程碑,抽象的会话摘要仍然是一个具有挑战性的,但研究较少的任务。困难在于两个方面。一是缺乏大规模的会话摘要数据。另一个问题是,将现有的预训练模型应用于这项任务是很棘手的,因为对话中的结构依赖及其非正式表达等,在这项工作中,我们首先基于Reddit社区中的多人讨论构建了一个名为RCS的大规模(11M)预训练数据集。然后,我们提出了TANet,一个线程感知的基于transformer的网络。与现有的将对话视为句子序列的预训练模型不同,我们认为话语之间固有的上下文依赖性在理解整个对话中起着至关重要的作用,因此提出了两种新技术来将结构信息纳入我们的模型。第一种是线索感知注意力,它是通过考虑话语内的上下文依赖性来计算的。其次,我们应用线索预测损失来预测话语之间的关系。我们在四个真实对话的数据集上评估了我们的模型,这些数据集涵盖了会议记录、客户服务记录和论坛线程的类型。实验结果表明,TANET实现了一个新的国家的最先进的自动评估和人类的判断。
2022-04-09 cs.CL
COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization
Fudan University(复旦大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai AI Lab(上海人工智能实验室)
针对单阶段摘要训练目标与摘要级评估不一致的问题,本文提出 COLO 对比学习重排序框架,无需额外模块或参数即可提升 CNN/DailyMail 性能,并显著降低训练与推理成本。
2023-04-19 cs.CL
Ontology-Aware Clinical Abstractive Summarization
Georgetown University(乔治城大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);MedStar Georgetown University Hospital(梅德星乔治城大学医院)
从临床报告自动生成准确的摘要可以节省临床医生的时间,提高摘要覆盖率,并减少错误。我们提出了一个序列到序列的抽象摘要模型,增强了特定领域的本体信息,以提高内容选择和摘要生成。我们将我们的方法应用于放射学报告的数据集,并表明它在胭脂分数方面显着优于当前最先进的这项任务。由放射科医生进行的广泛的人类评估进一步表明,这种方法产生的摘要不太可能忽略重要的细节,而不会牺牲可读性或准确性。
2019-05-14 cs.CL cs.IR
Aspect and Opinion Aware Abstractive Review Summarization with Reinforced Hard Typed Decoder
Tsinghua University(清华大学);Singapore Management University(新加坡管理大学)
本文研究了摘要式综述摘要,针对综述摘要通常由方面词、观点词和上下文词组成的特点,提出了一种两阶段强化学习方法,首先从这三种类型中预测输出词的类型,在两个Amazon产品评论数据集上的实验结果表明,该方法可以一致地优于基于ROUGE分数的几种强基线方法。
2020-04-13 cs.CL cs.IR cs.LG
Faithful to the Original: Fact Aware Neural Abstractive Summarization
The Hong Kong Polytechnic University(香港理工大学);Hong Kong Polytechnic University Shenzhen Research Institute(香港理工大学深圳研究院);Microsoft Research(微软研究院);Peking University(北京大学)
摘要与抽取式摘要不同,摘要必须融合源文本的不同部分,这倾向于创建虚假事实。我们的初步研究表明,来自最先进的神经摘要系统的近30%的输出都存在这个问题。虽然以前的摘要方法通常侧重于信息量的提高,我们认为,忠实性也是一个实用的摘要系统的重要前提。为了避免在摘要中生成虚假事实,我们利用开放的信息抽取和依赖解析技术从源文本中提取实际的事实描述。然后提出了双注意序列到序列框架,以迫使生成条件的源文本和提取的事实描述。在Gigaword基准数据集上的实验表明,我们的模型可以大大减少80%的虚假摘要。值得注意的是,事实描述也带来了显着的信息量的改善,因为他们往往浓缩的源文本的含义。
2017-11-13 cs.CL cs.IR
Don't Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们介绍极端的摘要,一个新的单文档摘要任务,不赞成提取策略,并要求一个抽象的建模方法。这个想法是创建一个简短的,一句话的新闻摘要回答这个问题:“这篇文章是关于什么的?”".我们收集了一个真实世界的,大规模的数据集为这项任务收获的在线文章从英国广播公司(BBC)。我们提出了一种新的抽象模型,这是有条件的文章的主题和完全基于卷积神经网络。我们通过实验证明,这种架构捕获文档中的长距离依赖关系,并识别相关内容,在自动和人工评估时优于Oracle提取系统和最先进的抽象方法。
2018-08-27 cs.CL
What is this Article about? Extreme Summarization with Topic-aware Convolutional Neural Networks
Google Research(谷歌研究院);University of Edinburgh(爱丁堡大学)
我们引入了“极端摘要”,一个新的单文档摘要任务,旨在创建一个简短的,一句话的新闻摘要回答问题“这篇文章是关于什么的?''.我们认为,极端的总结,本质上,是不适合提取策略,需要一个抽象的建模方法。为了进一步推动这项任务的研究:(a)我们通过从英国广播公司(BBC)收集在线文章来收集真实世界的大规模数据集;(b)提出一种新的抽象模型,该模型以文章的主题为条件,完全基于卷积神经网络。我们通过实验证明,该架构可以捕获文档中的长期依赖关系并识别相关内容,在自动评估和由人类在极端摘要数据集上评估时,其性能优于Oracle提取系统和最先进的抽象方法。
2019-07-19 cs.CL
Entity-driven Fact-aware Abstractive Summarization of Biomedical Literature
Wright State University(莱特州立大学)
作为每年出版的大量科学文章的一部分,生物医学文献的出版率一直在增加。因此,已经有相当大的努力来利用和总结大量的生物医学研究文章。虽然已经针对不同领域中的抽象摘要广泛研究了普通源文档到摘要设置中的基于变换器的编码器-解码器模型,但是它们的主要局限性仍然是实体幻觉(生成的摘要构成与源文章不相关或不存在于源文章中的实体的现象)和事实不一致。在生物医学环境中,命名实体及其语义(可以通过知识库捕获)构成文章的本质,这一问题会加剧。在生物医学文章摘要文献中,尚未研究使用命名实体和从与命名实体有关的背景知识库中挖掘的事实来指导抽象摘要。在本文中,我们提出了一个实体驱动的事实感知框架,用于训练端到端的基于变换的编码器-解码器模型,用于生物医学文章的抽象摘要。我们称之为所提出的方法,其构建块是一个基于变换的模型,EFAS,可靠性驱动的事实感知抽象摘要。我们使用五种最先进的基于变压器的模型进行实验(其中两个是专门为长文档摘要设计的),并证明将知识注入这些模型的训练/推理阶段,使模型能够在实体级事实准确性,N-gram新颖性,和语义等价。在ICD-11-Summ-1000和PubMed-50 k上对所提出的方法进行了评价。
2022-03-30 cs.CL cs.LG
KATSum: Knowledge-aware Abstractive Text Summarization
Auckland University of Technology(奥克兰理工大学);Jilin University of Finance and Economics(吉林财经大学)
文本摘要是自然语言处理的下游任务之一,近年来得到了广泛的研究。它可以帮助人们从互联网上快速感知信息,包括新闻文章,社交帖子,视频等。大多数现有的研究工作试图开发摘要模型,以产生更好的输出。然而,大多数现有的模型出现的局限性,包括不忠实和事实错误。在本文中,我们提出了一种新的模型,命名为知识感知的抽象文本摘要,它利用知识图谱提供的优势,以增强标准的Seq2Seq模型。最重要的是,从源文本中提取知识图谱三元组,并用于提供关键字与相关信息,产生连贯和真实无误的摘要。我们使用真实世界的数据集进行了广泛的实验。实验结果表明,该框架能有效利用知识图谱中的信息,显著减少摘要中的事实错误。
2022-12-06 cs.AI cs.CL
Faithfulness-Aware Decoding Strategies for Abstractive Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Amazon Alexa AI(亚马逊Alexa人工智能部门);AWS AI Labs(亚马逊云服务人工智能实验室)
尽管在理解和提高摘要忠实性方面取得了重大进展,但解码策略如何影响摘要忠实性的问题研究较少。我们提出了一个系统的研究,如束搜索和核心抽样的生成技术的影响,在摘要的忠实性。我们发现了一个一致的趋势,其中具有大波束尺寸的束搜索产生最忠实的摘要,而核采样产生最不忠实的摘要。我们提出了两种忠实性感知的生成方法,以进一步提高忠实性比当前的生成技术:(1)排名的候选人产生的束搜索使用自动忠实性指标和(2)纳入前瞻性分析,产生一个忠实性分数的未来摘要。我们表明,这两种生成方法显着提高了两个数据集的忠实性,由四个自动忠实性指标和人类评价。为了减少计算成本,我们展示了一个简单的蒸馏方法,允许模型生成忠实的摘要,只需贪心解码。我们的代码可在https://github.com/amazon-science/faithful-summarization-generation上公开获取
2023-03-06 cs.AI cs.CL cs.LG
A Reinforced Topic-Aware Convolutional Sequence-to-Sequence Model for Abstractive Text Summarization
Tencent Data Center of SNG(腾讯社交网络事业群数据中心);Columbia University(哥伦比亚大学);Tencent AI Lab(腾讯AI实验室)
在本文中,我们提出了一种深度学习方法,通过将主题信息纳入卷积序列到序列(ConvS 2S)模型并使用自临界序列训练(SCST)进行优化来解决自动摘要任务。通过共同参加主题和词级对齐,我们的方法可以提高一致性,多样性和信息量的摘要生成机制,通过有偏见的概率。另一方面,强化训练,如SCST,直接优化所提出的模型关于不可微度量ROUGE,这也避免了在推理过程中的暴露偏差。我们进行了实验评估与国家的最先进的方法在千兆字,DUC-2004,和LCSTS数据集。实验结果表明,我们提出的方法在抽象摘要的优越性。
2020-07-27 cs.CL cs.LG stat.ML
Enhancing Faithfulness in Abstractive Summarization via Span-Level Fine-Tuning
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文研究了通过片段级微调策略减少LLM生成式摘要中的幻觉问题,构建了含片段级标签的忠实与不忠实摘要数据集,并评估了梯度上升、不可能性训练和任务向量否定三种技术,发现不可能性训练效果最佳。
2025-10-10 cs.CL
Abstractive Text Summarization by Incorporating Reader Comments
Peking University(北京大学);Tencent AI Lab(腾讯人工智能实验室);Alibaba DAMO Academy(阿里巴巴达摩院)
在神经抽象文摘领域,传统的基于序列到序列的模型经常遭受关于主要方面总结文档的错误方面。为了解决这个问题,我们提出了读者感知的摘要生成任务,它利用读者的评论,以帮助模型产生更好的摘要的主要方面。与传统的抽象摘要任务不同,读者感知摘要面临两个主要挑战:(1)评论是非正式的,而且带有噪声;(2)对新闻文档和读者评论进行联合建模具有挑战性。为了解决上述问题,我们设计了一个名为读者感知摘要生成器(RASG)的对抗性学习模型,该模型由四个部分组成:(1)基于序列到序列的摘要生成器;(2)捕获读者关注方面的读者关注模块;(3)对生成的摘要和读者关注方面之间的语义鸿沟进行建模的监督模块;(4)目标跟踪器,其为每个生成步骤产生目标。监督者和目标跟踪者用于以对抗的方式指导我们的框架的训练。在我们的大规模真实文本摘要数据集上进行了大量的实验,结果表明,RASG在自动度量和人工评估方面都达到了最先进的性能。实验结果也证明了我们的框架中的每个模块的有效性。我们发布了我们的大规模数据集以供进一步研究。
2018-12-13 cs.AI cs.CL
FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了FactPEGASUS,一个抽象的摘要模型,解决了预训练和微调期间的真实性问题:(1)我们增强了PEGASUS的句子选择策略(Zhang et al.,(2020)预训练目标是创建既重要又真实的伪摘要;(2)我们引入了三个互补的组件进行微调。校正器去除参考摘要中存在的幻觉,对比器使用对比学习来更好地区分非事实摘要和事实摘要,连接器弥合预训练和微调之间的差距,以更好地传递知识。在三个下游任务上的实验表明,FactPEGASUS大大提高了由多个自动度量和人类评估的真实性。我们的全面分析表明,FactPEGASUS比在zero-shot和Few-Shot设置中使用原始预训练目标更符合事实,比强基线更稳健地保留事实行为,并且不完全依赖于变得更加提取来提高真实性。我们的代码和数据可在以下网址公开获取:https://github.com/meetdavidwan/factpegasus
2022-05-16 cs.AI cs.CL cs.LG
Fidelity-Enriched Contrastive Search: Reconciling the Faithfulness-Diversity Trade-Off in Text Generation
National Taiwan University(国立台湾大学);Artificial Intelligence Research Center, AIST(产业技术综合研究所人工智能研究中心)
本文提出一种名为 FECS 的新解码方法,通过引入上下文感知正则化项增强对比搜索,有效缓解了自然语言生成中的幻觉问题,在多种模型规模下提升了文本忠实度并保持了输出多样性。
2023-10-23 cs.CL
Reliability Gated Multi-Teacher Distillation for Low Resource Abstractive Summarization
BRAC University(BRAC大学)
本文研究了从可靠性角度出发的多教师知识蒸馏,提出EWAD和CPDP机制,通过实验发现logit级KD效果最佳,复杂蒸馏提升短摘要语义相似性但影响长摘要,跨语言伪标签KD在压缩率下保持ROUGE L分数,揭示了单判 pipelines 的校准偏差。
2026-04-03 cs.AI cs.CL
RST-LoRA: A Discourse-Aware Low-Rank Adaptation for Long Document Abstractive Summarization
Saarland University(萨尔大学)
本文提出篇章感知的 RST-LoRA 及四种 RST 变体,将修辞关系类型与不确定性融入 LoRA,在长文档生成式摘要中优于原始 LoRA、全参数微调和既往最先进方法。
2024-12-10 cs.AI cs.CL cs.LG
A Grounded and Decomposed Framework for Relation-Level Hallucination Evaluation in Abstractive Summarization
IIIT Bhubaneswar(布巴内斯瓦尔印度信息技术学院);Informatica(Informatica公司);TEKsystems Global Services(TEKsystems全球服务公司)
本研究提出一种用于抽象摘要关系级幻觉评估的基于基础与分解的框架,引入关系幻觉指数(RHI)及其归一化公式,经多模型评估验证其可生成稳定且具区分性的幻觉测量结果,推进了自动化关系级保真度评估。
2026-08-11 cs.AI cs.CL
Closed-book Question Generation via Contrastive Learning
Texas A&M University(德克萨斯农工大学);Emory University(埃默里大学)
问题生成(QG)是许多下游应用程序的基本NLP任务。最近的研究开卷QG,其中支持性的答案上下文对提供给模型,取得了可喜的进展。然而,在缺乏这些支持文件的更实际的封闭式设置下生成自然问题仍然是一个挑战。在这项工作中,我们提出了一个新的QG模型,这个封闭的书设置,旨在更好地理解语义的长形式的抽象答案,并存储更多的信息,通过对比学习和答案重建模块的参数。通过实验,我们在公共数据集和新的WikiCQA数据集上验证了所提出的QG模型。实证结果表明,所提出的QG模型优于基线在自动评估和人工评估。此外,我们将展示如何利用所提出的模型,以改善现有的问答系统。这些结果进一步表明,我们的QG模型的有效性,以提高闭卷问答任务。
2023-02-10 cs.CL
Abstractive Summarization Guided by Latent Hierarchical Document Structure
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
顺序抽象神经摘要器通常不使用输入文章中的底层结构或输入句子之间的依赖关系。这种结构对于整合和巩固来自文本不同部分的信息至关重要。为了解决这个问题,我们提出了一个层次感知的图神经网络(HierGNN),它通过三个主要步骤来捕获这种依赖关系:1)通过稀疏矩阵树计算学习潜在结构树来学习层次文档结构; 2)使用一种新的消息传递节点传播机制来在这个结构上传播句子信息以识别显著信息; 3)使用图级注意力来将解码器集中在显著信息上。实验证实HierGNN改进了BART等强序列模型,CNN/DM和XSum的平均ROUGE-1/2/L的裕度分别为0.55和0.75。进一步的人类评估表明,我们的模型生成的摘要比HierGNN所包含的基线更相关,冗余度更低。我们还发现HierGNN通过更多地融合多个源句子来合成摘要,而不是压缩单个源句子,并且它更有效地处理长输入。
2022-11-17 cs.CL
Semantic-aware Contrastive Learning for More Accurate Semantic Parsing
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
由于语义表示是表达细粒度序列级语义的详细而准确的注释,因此通常难以通过自回归方式的最大似然估计(MLE)来训练区分性语义解析器。在本文中,我们提出了一个语义感知的对比学习算法,它可以学习区分细粒度的意义表示,并考虑到整体的序列级语义。具体而言,提出了一种多层次在线抽样算法,以采样混淆和多样化的实例。设计了三个语义感知相似度函数,以准确地测量整体意义表示之间的距离。并提出了一种排序对比损失,将语义相同的实例的表示拉到一起,将否定的实例推到一边。在两个标准数据集上的实验表明,我们的方法在MLE基线上取得了显着的改进,并通过简单地将语义感知的对比学习应用于vanilla Seq2Seq模型,获得了最先进的性能。
2023-01-19 cs.CL
Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information
Dept. of Electrical and Computer Engineering, Seoul National University(首尔大学电气与计算机工程系);Automation and Systems Research Institute, Seoul National University(首尔大学自动化与系统研究所)
上下文感知神经机器翻译(NMT)融合了文本的上下文信息,可以提高文档级机器翻译的翻译质量。许多现有的上下文感知NMT的工作都集中在开发新的模型架构,将额外的上下文,并显示出一些有前途的结果。然而,大多数现有的作品依赖于交叉熵损失,从而限制了上下文信息的使用。在本文中,我们提出了CorefCL,一种新的数据增强和对比学习计划的基础上,源和上下文句子之间的共指。通过破坏自动检测到的上下文语句中的共指提及,CorefCL可以训练模型对共指不一致性敏感。我们在常见的上下文感知NMT模型和两个文档级翻译任务上实验了我们的方法。在实验中,我们的方法不断提高BLEU的比较模型上的英语-德语和英语-韩语任务。我们还表明,我们的方法显着提高了共指消解在英语-德语对比测试套件。
2021-09-13 cs.CL
Question-aware Transformer Models for Consumer Health Question Summarization
U.S. National Library of Medicine(美国国家医学图书馆)
越来越多的消费者每天都在网上搜索健康信息,这使得对高效可靠的问答系统的需求更加迫切。这些系统成功率的一个重要因素是它们能够充分理解消费者的问题。然而,这些问题往往比所需的要长,而且提到的外围信息对找到相关答案没有帮助。问题摘要是在试图找到答案之前简化冗长复杂的消费者问题的潜在解决方案之一。在本文中,我们研究了现实世界的消费者健康问题的抽象概括的任务。我们开发了一个抽象的问题摘要模型,该模型通过识别医疗实体来利用问题的语义解释,从而生成信息丰富的摘要。为此,我们提出了多个完形填空任务(即在给定的上下文中填写缺失单词的任务),以确定执行模型的关键医学实体,以更好地覆盖问题焦点识别。此外,我们将问题类型信息注入解码器输入,以生成问题类型驱动的摘要。在MeQSum基准语料库上进行评估时,我们的框架比最先进的方法高出10.2个ROUGE-L点。我们还进行了手动评估,以评估生成的摘要的正确性。
2021-06-01 cs.CL
Label-aware Hard Negative Sampling Strategies with Momentum Contrastive Learning for Implicit Hate Speech Detection
Hanyang University(汉阳大学)
针对隐式仇恨言论检测中随机对比学习难以利用硬负样本的问题,提出集成动量的 LAHN 标签感知硬负样本采样策略,并在数据集内与跨数据集评测中取得优于现有模型的效果。
2024-06-12 cs.CL
StructCoh: Structured Contrastive Learning for Context-Aware Text Semantic Matching
Beihang University, Beijing, China(北京航空航天大学);University College London, London, UK(伦敦大学学院)
针对预训练语言模型在文本语义匹配中忽略层级结构、难区分细微语义的问题,提出融合双图编码器与层级对比目标的StructCoh框架,在法律匹配等任务上显著超越SOTA。
2025-09-02 cs.CL
Sentence-aware Contrastive Learning for Open-Domain Passage Retrieval
Shanghai Jiao Tong University(上海交通大学)
通过对比学习训练密集段落表示已被证明是有效的开放域段落检索(ODPR)。现有的研究集中在通过改进负采样策略或额外的预训练来进一步优化。然而,这些研究保持未知的捕获通道与内部表示冲突的建模粒度不当。因此,这项工作提出了一个细化模型的基础上,更小的粒度,上下文语句,以减轻有关冲突。具体来说,我们引入了一个通道内的负采样策略,以鼓励不同的一代的句子表征在同一个通道。在三个基准数据集上的实验验证了该方法的有效性,特别是在冲突严重的数据集上。大量的实验进一步表明,我们的方法在数据集之间具有良好的可移植性。
2022-03-05 cs.CL
Class-Aware Contrastive Optimization for Imbalanced Text Classification
University of Notre Dame(圣母大学);VinUniversity
针对不平衡文本分类中嵌入易出现类重叠的问题,提出结合类别感知对比优化与去噪自编码器的方法,通过融合重构损失与对比类别分离平衡嵌入真实性与分类能力,在多数据集上性能优于现有最优方法。
2024-10-29 cs.CL
A Unified Label-Aware Contrastive Learning Framework for Few-Shot Named Entity Recognition
Samsung R&D Institute China-Beijing(三星中国北京研发院)
针对少样本 NER 中标签语义利用不当导致上下文表示区分不足的问题,提出统一标签感知 token 级对比学习框架,结合后缀提示与双对比目标,在多个数据集上显著超越现有方法。
2024-05-08 cs.CL
TaCL: Improving BERT Pre-training with Token-aware Contrastive Learning
University of Cambridge(剑桥大学);Beijing Institute of Technology(北京理工大学);Amazon(亚马逊);Monash University(莫纳什大学)
在过去的几年里,BERT和RoBERTa等掩蔽语言模型(Masked language models,MLMs)彻底改变了自然语言理解领域。然而,现有的预先训练的MLM通常输出令牌表示的各向异性分布,其占据整个表示空间的窄子集。这样的标记表示并不理想,特别是对于需要不同标记的区别性语义的任务。在这项工作中,我们提出了TaCL(令牌感知对比学习),一种新的连续预训练方法,鼓励BERT学习令牌表示的各向同性和歧视性分布。TaCL是完全无监督的,不需要额外的数据。我们在广泛的英语和中文基准上广泛测试我们的方法。实验结果表明,TaCL模型较之原有的BERT模型有了一致的、显著的改进。此外,我们进行详细的分析,以揭示我们的方法的优点和内部工作。
2022-04-28 cs.CL
EASE: Entity-Aware Contrastive Learning of Sentence Embedding
Studio Ousia(Ousia工作室);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);National Institute of Informatics(国立信息学研究所)
我们提出了EASE,一种新的方法学习句子嵌入通过对比学习之间的句子和它们的相关实体。使用实体监督的优点是双重的:(1)实体已被证明是文本语义的强指示器,因此应该为句子嵌入提供丰富的训练信号;(2)实体是独立于语言定义的,因此提供有用的跨语言对齐监督。我们评估EASE对其他无监督模型在单语和多语言设置。我们表明,EASE表现出竞争力或更好的性能在英语语义文本相似性(STS)和短文本聚类(STC)的任务,它显着优于基线方法在多种任务的多语言设置。我们的源代码,预训练模型和新构建的多语言STC数据集可在https://github.com/studio-ousia/ease上获得。
2022-05-09 cs.CL
Contrastive Speaker-Aware Learning for Multi-party Dialogue Generation with LLMs
Shangqiu University(商丘大学)
本文提出SA-LLM,通过说话人感知对比学习无需关系标注即可建模多方对话中的说话人角色与上下文连贯性,在流畅性、连贯性和多样性上超越现有基线。
2025-03-11 cs.CL
Frequency-Aware Contrastive Learning for Neural Machine Translation
National Engineering Research Center for Software Engineering, Peking University(北京大学国家软件工程研究中心);Alibaba Group(阿里巴巴集团)
低频词预测仍然是现代神经机器翻译(NMT)系统中的一个挑战。最近的自适应训练方法通过强调其在总体训练目标中的权重来促进不频繁词的输出。尽管低频词的召回率有所提高,但其预测精度却意外地受到自适应目标的阻碍。受到低频词形成更紧凑的嵌入空间的观察的启发,我们从表示学习的角度来解决这个挑战。具体来说,我们提出了一种基于词频的标记级对比学习方法,该方法根据对应的词频,以软对比的方式将每个解码步骤的隐藏状态从其他目标词的对应部分中推开。我们在广泛使用的NIST汉英和WMT14英德翻译任务上进行了实验。实验结果表明,我们提出的方法不仅可以显着提高翻译质量,而且还增强了词汇多样性和优化词的表示空间。进一步的研究表明,与相关的自适应训练策略相比,该方法在低频词预测上的优势在于在不牺牲准确率的前提下,能够在不同频率范围内保持词级召回的鲁棒性。
2021-12-29 cs.CL
A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);City University of Hong Kong(香港城市大学);Peking University(北京大学)
对比学习在无监督的句子嵌入任务中显示出巨大的潜力,例如,SimCSE。然而,我们发现,这些现有的解决方案是严重影响的表面特征,如句子的长度或句法结构。在本文中,我们提出了一个语义感知的句子嵌入对比学习框架,称为伪令牌BERT(PT-BERT),它能够利用伪令牌空间(即,潜在语义空间)表示,同时消除诸如句子长度和句法的表面特征的影响。具体来说,我们引入了一个独立于BERT编码器的额外的伪令牌嵌入层,以将每个句子映射到固定长度的伪令牌序列中。利用这些伪序列,我们能够基于注意力机制构造相同长度的正对和负对来执行对比学习。此外,我们利用梯度更新和动量更新编码器来编码实例,同时动态地维护一个额外的队列来存储句子嵌入的表示,提高编码器的学习性能的负面的例子。实验表明,我们的模型优于国家的最先进的基线上六个标准的语义文本相似性(STS)的任务。此外,对齐和一致性损失的实验,以及不同句子长度和语法的硬例子,一致验证了我们的方法的有效性。
2022-03-11 cs.CL
Style-Aware Contrastive Learning for Multi-Style Image Captioning
Australian AI Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
现有的多风格图像描述方法在生成具有准确视觉内容和期望语言风格的字幕方面显示出有希望的结果。然而,现有的方法忽略了语言风格和视觉内容之间的关系。为了克服这个缺点,我们提出了风格感知的对比学习多风格的图像描述。首先,我们提出了一个风格感知的视觉编码器与对比学习挖掘潜在的视觉内容相关的风格。此外,我们提出了一个风格感知的三重对比度目标来区分图像,风格和标题是否匹配。为了给对比学习提供正样本和负样本,本文提出了三种检索方案:基于对象的检索、基于RoI的检索和基于三元组的检索,并设计了一个动态的权衡函数来计算检索得分。实验结果表明,我们的方法达到了最先进的性能。此外,我们进行了广泛的分析,以验证我们的方法的有效性。
2023-01-26 cs.CL cs.CV
Not All Negatives are Equal: Label-Aware Contrastive Loss for Fine-grained Text Classification
National University of Singapore(新加坡国立大学)
细粒度分类涉及处理具有大量类别的数据集,这些类别之间存在细微差异。引导模型专注于区分这些通常容易混淆的类之间的维度,是提高细粒度任务性能的关键。在这项工作中,我们分析了两个细粒度的文本分类任务,情感分类和情感分析的预训练语言模型的对比微调。我们自适应地嵌入类关系到一个对比的目标函数,以帮助不同的权重的积极和消极的,特别是,加权密切混淆的负面比不太相似的负面的例子。我们发现,标签感知的对比损失优于以前的对比方法,在更大的数量和/或更容易混淆的类的存在下,并帮助模型产生更有区别的输出分布。
2021-09-12 cs.AI cs.CL
SASS: Data and Methods for Subject Aware Sentence Simplification
NYU(纽约大学)
句子简化倾向于通过使句子更可读和更容易理解来关注句子的通用简化。本文提供了一个旨在训练模型的数据集,这些模型执行主题感知的句子简化,而不是将句子简化为一个整体。我们还测试了该数据集上的模型,这些模型受到抽象摘要中使用的模型架构的启发。我们手工生成部分数据,并通过进一步操作这些手写简化来增强数据集。我们的研究结果表明,在总结中使用的数据增强,数据屏蔽和模型架构的选择提供了一个坚实的基线比较主题意识的简化。
2023-03-26 cs.AI cs.CL
Context-aware Visual Storytelling with Visual Prefix Tuning and Contrastive Learning
Utrecht University(乌得勒支大学)
针对图像序列故事生成中的上下文与视觉变化挑战,提出基于预训练基础模型的轻量视觉-语言映射框架,并结合上下文建模与多模态对比学习,提升故事连贯性、视觉相关性和信息量。
2024-08-12 cs.CL cs.CV
From Context-Aware to Conflict-Aware: Generalizing Contrastive Decoding for Knowledge Conflict in LLMs
Peking University(北京大学);Alibaba Group(阿里巴巴集团);The University of Hong Kong(香港大学)
针对大语言模型生成时外部上下文与参数先验之间的知识冲突,提出冲突感知范式,通过动态分配先验与上下文的权重,并设计自适应机制解决不同冲突状态下的不对称问题。
2026-06-09 cs.AI cs.CL
Label-aware Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding
Jilin University(吉林大学);Microsoft(微软);Duke University(杜克大学)
尽管口语语言理解(SLU)在高资源语言中取得了巨大成功,但在低资源语言中仍然具有挑战性,主要原因是缺乏带标签的训练数据。最近的多语言代码转换方法实现了更好的跨语言模型表示对齐通过构建一个混合的语言上下文在zero-shot跨语言SLU。然而,目前的语码转换方法仅限于隐性对齐,而忽视了二语习得中固有的语义结构,即,话语、槽和词的分级包含。在本文中,我们提出了一个多层次的对比学习框架,在话语,槽,词的水平,以促进明确对齐的话语槽词结构模型。新的代码转换方案被引入到我们的对比学习框架中,以产生困难的否定例子。此外,我们开发了一个标签感知的联合模型,利用标签语义来增强隐式对齐和馈送到对比学习。我们的实验结果表明,我们提出的方法显着提高性能相比,强基线两个zero-shot跨语言SLU基准数据集。
2022-10-25 cs.AI cs.CL