KPTimes: A Large-Scale Dataset for Keyphrase Generation on News Documents
LS2N(LS2N实验室);Université de Nantes(南特大学)
关键词生成是预测一组词汇单位的任务,这些词汇单位传达了源文本的主要内容。现有的用于关键词生成的数据集仅适用于学术领域,并且包括非专家注释。在本文中,我们介绍了KPTimes,一个大规模的新闻文本数据集与编辑策划的关键词配对。探索数据集,我们展示了编辑器如何标记文档,以及他们的注释与现有数据集中的注释有何不同。我们还在KPTimes上训练和评估最先进的神经关键词生成模型,以了解它们在新闻领域的表现。该数据集可在https://github.com/ygorg/KPTimes上在线获取。
2019-11-28 cs.CL cs.IR
Heterogeneous Graph Neural Networks for Keyphrase Generation
Fudan University(复旦大学)
编码器-解码器框架通过预测出现在源文档中的当前关键短语和不出现的缺失关键短语来实现关键短语生成(KG)任务中的最先进结果。然而,仅仅依赖于源文档可能导致生成不可控和不准确的缺失关键短语。为了解决这些问题,我们提出了一种新的基于图的方法,可以捕获显式的知识,从相关的参考。我们的模型首先从一个预定义的索引中检索一些与源文档相似的文档-关键词对作为引用。然后构造一个异构图来捕捉源文档和其引用之间不同粒度的关系。为了指导解码过程,引入了分层注意和复制机制,该机制根据源文档及其参考文献的相关性和重要性直接从源文档及其参考文献中复制适当的单词。在多个KG基准测试上的实验结果表明,该模型相对于其他基线模型取得了显著的改进,特别是在缺少关键短语的预测方面。
2021-09-10 cs.AI cs.CL
Keyphrase Generation with Fine-Grained Evaluation-Guided Reinforcement Learning
Fudan University(复旦大学)
关键词生成(KG)是一个经典的任务,用于从给定的文档中捕获中心思想,以生成一组关键词。基于Seq2Seq模型,先前的KG任务上的强化学习框架利用评估指标来进一步改进训练良好的神经模型。然而,诸如$F_1@5$和$F_1@M$的这些KG评估度量仅知道短语级别上的预测的确切正确性,而忽略了相似预测和目标之间的语义相似性,这抑制了模型学习深度语言模式。针对这个问题,我们提出了一个新的细粒度的评价指标,以改善RL框架,它考虑不同的粒度:令牌级$F_1$分数,编辑距离,重复,和预测量。总体而言,新框架包括两个奖励函数:细粒度的评估分数和香草$F_1$分数。该框架有助于模型识别部分匹配短语,这些部分匹配短语可以进一步优化为精确匹配短语。KG基准测试的实验表明,我们提出的训练框架优于以前的RL训练框架的所有评价分数。此外,我们的方法可以有效地缓解同义词问题,并产生更高质量的预测。源代码可从\url{https://github.com/xuyige/FGRL4KG}获得。
2021-09-10 cs.CL
One Size Does Not Fit All: Generating and Evaluating Variable Number of Keyphrases
Microsoft Research(微软研究院);University of Pittsburgh(匹兹堡大学)
不同的文本本质上应对应不同数量的关键词。现有的神经关键短语生成模型在很大程度上缺少这种必要条件。在这项研究中,我们从建模和评估的角度来解决这个问题。我们首先提出了一个递归生成模型,生成多个关键词作为分隔符分隔的序列。通过操纵解码器隐藏状态,使用两种新技术进一步增强了生成分集。与以前的方法相比,我们的模型能够生成不同的关键词并控制输出的数量。我们进一步提出了两个评估指标针对变量数生成。我们还引入了一个新的数据集StackEx,它扩展了现有的唯一类型(即,学术写作)中的关键短语生成任务。使用以前的和新的评估指标,我们的模型在所有数据集上都优于强基线。
2020-05-12 cs.CL cs.LG
ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task
Moody’s Analytics(穆迪分析);Institute for Research in Technology(技术研究院);ICAI School of Engineering(ICAI工程学院);Comillas Pontifical University(科米利亚斯宗座大学)
本研究在六个公开数据集上对比了ChatGPT与state-of-the-art模型在关键短语生成任务中的表现,发现ChatGPT在所有测试环境中均优于现有模型,尤其在领域适应和长文档处理方面展现出显著优势。
2023-06-29 cs.AI cs.CL
An Analysis of Datasets, Metrics and Models in Keyphrase Generation
CNRS(法国国家科学研究中心);Nantes University(南特大学);National Institute of Informatics(日本国立信息学研究所)
该研究通过分析50余篇关键短语生成论文,梳理领域进展与挑战,指出当前评估存在数据集相似、指标计算不一致等问题,并发布基于PLM的高性能关键短语生成模型以支持后续研究。
2025-06-12 cs.CL cs.IR
WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation
Xiamen University(厦门大学);Alibaba Group(阿里巴巴集团);Soochow University(苏州大学)
关键词生成的目的是自动生成简短的短语概括输入文档。最近出现的ONE 2SET范例(Ye等人,2021)生成关键词作为一个集合,并取得了有竞争力的表现。然而,我们观察到ONE 2SET输出的严重校准误差,特别是在对$\varnothing$令牌的过度估计中(意味着“没有对应的关键词”)。在本文中,我们深入分析了这一限制,并确定背后的两个主要原因:1)并行生成必须引入过量的$\varnothing$作为填充令牌到训练实例中; 2)为每个槽分配目标的训练机制是不稳定的,并进一步加剧了$\varnothing$令牌高估。为了使该模型具有良好的校准性,我们提出了WR-ONE 2SET,它扩展了ONE 2SET,具有自适应的实例级成本加权策略和目标重新分配机制。前者针对不同的实例动态地惩罚高估的时隙,从而平滑不均匀的训练分布。后者改进了原来的不适当的分配,减少了高估时隙的监督信号。在常用数据集上的实验结果证明了该方法的有效性和通用性。
2023-02-16 cs.AI cs.CL
Deep Keyphrase Completion
Southwestern University of Finance and Economics(西南财经大学);Beihang University(北京航空航天大学);Xiamen Data Intelligence Academy of ICT, CAS(中国科学院信息工程研究所厦门数据智能研究院);Beijing University of Posts and Telecommunications(北京邮电大学);Kwai Inc.(快手)
关键词提供了文档内容的准确信息,具有高度紧凑、简洁、富有意义等特点,被广泛用于语篇理解、组织和文本检索。虽然以前的研究已经做了大量的努力,自动关键词提取和生成,令人惊讶的是,很少有研究已经\textit{keyphrase completion}(KPC)。KPC的目的是产生更多的关键词的文档(如科学出版物),利用文档内容以及数量非常有限的已知关键词,这可以应用于改善文本索引系统等。在本文中,我们提出了一种新的KPC方法的编码器-解码器框架。我们将其命名为\textit{deep keyphrase completion}(DKPC),因为它试图通过深度学习框架捕获文档内容的深层语义含义以及已知的关键词。具体来说,DKPC中的编码器和解码器扮演不同的角色,以充分利用已知的关键词。前者考虑关键词引导因素,将已知关键词的信息聚合到上下文中。相反,后者考虑了关键词抑制因素,以抑制语义重复的关键词生成。在基准数据集上的大量实验证明了我们提出的模型的有效性。
2021-10-29 cs.CL cs.IR
LDKP: A Dataset for Identifying Keyphrases from Long Scientific Documents
Moody’s Analytics(穆迪分析);IIIT-Delhi(德里英迪拉·甘地信息技术学院);IIT-Dhanbad(印度理工学院丹巴德分校);NYU(纽约大学);Adobe Media Data Science Research(奥多比媒体数据科学研究院);UT Austin(德克萨斯大学奥斯汀分校)
从文本中识别关键词是自然语言处理和信息检索中的一项基本任务。绝大多数用于此任务的基准数据集来自仅包含文档标题和摘要信息的科学领域。这限制了关键短语提取(KPE)和关键短语生成(KPG)算法从通常非常短(大约8句)的人类书面摘要中识别关键短语。这对现实世界的应用程序提出了三个挑战:大多数文档都无法使用人类编写的摘要,文档几乎总是很长,并且很高比例的KP可以在标题和摘要的有限上下文之外直接找到。因此,我们发布了两个广泛的语料库,映射了约130万和约10万科学文章的KP,以及它们的完整提取文本和额外的元数据,包括出版地点、年份、作者、研究领域和引文,以促进对这个现实世界问题的研究。
2022-04-01 cs.CL
EUROPA: A Legal Multilingual Keyphrase Generation Dataset
Université de Montréal(蒙特利尔大学);RALI;DIRO
本文构建了源自欧盟法院判决书、覆盖24种欧盟官方语言的法律多语言关键词生成数据集 EUROPA,并通过多语言模型实验表明该领域任务仍具提升空间。
2024-06-14 cs.AI cs.CL cs.LG
SimCKP: Simple Contrastive Learning of Keyphrase Representations
Naver Webtoon AI(Naver Webtoon人工智能);KAIST AI(韩国科学技术院人工智能)
提出SimCKP对比学习框架,通过两阶段提取与重排序关键短语表示,显著超越现有最先进模型。
2023-10-12 cs.AI cs.CL cs.LG
Does Order Matter? An Empirical Study on Generating Multiple Keyphrases as a Sequence
University of Pittsburgh(匹兹堡大学);Microsoft Research(微软研究院)
最近,已经提出了将多个关键词串接作为目标序列作为关键词生成的新学习范例。现有的研究将目标关键词以不同的顺序连接起来,但没有研究研究过排序对模型行为的影响。在本文中,我们提出了几种顺序的拼接和检查的重要因素,训练一个成功的关键词生成模型。通过运行全面的比较,我们观察到一个更好的排序,并总结了一些实证研究结果和挑战,这可以揭示未来的研究在这方面的工作。
2022-02-28 cs.CL
KPDrop: Improving Absent Keyphrase Generation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊)
关键短语生成是生成短语(关键短语)的任务,这些短语总结了给定文档的主要主题。关键字可以在给定文档中出现或不出现。虽然目前的关键词的提取在过去已经受到了很大的关注,只是最近一个更强的重点已经放在缺席的关键词的生成。然而,生成缺少的关键词是具有挑战性的;即使是最好的方法也只能取得一定程度的成功。在本文中,我们提出了一种与模型无关的方法,称为关键短语dropout(或KPDrop),以改进缺失关键短语的生成。在这种方法中,我们随机地从文档中删除当前关键词,并在训练过程中将它们转换为人工缺失的关键词。我们广泛地测试了我们的方法,并表明它始终提高了监督和资源受限的半监督设置中强基线的缺席性能。
2022-10-24 cs.CL
Representation Learning for Resource-Constrained Keyphrase Generation
University of California Los Angeles(加州大学洛杉矶分校);AWS AI Labs(亚马逊云科技人工智能实验室)
最先进的关键短语生成方法通常依赖于大型注释数据集,限制了它们在具有有限注释数据的领域中的性能。为了克服这一挑战,我们设计了一种面向数据的方法,首先使用基于检索的语料库级统计来识别突出信息,然后使用大规模未标记文档基于预训练的语言模型学习特定于任务的中间表示。我们引入显著跨度恢复和显著跨度预测作为去噪训练目标,这些目标浓缩了关键短语生成所必需的文章内和文章间知识。通过在多个关键词生成基准上的实验,我们证明了所提出的方法在促进低资源关键词生成和zero-shot领域自适应方面的有效性.我们的方法特别有利于生成缺失的关键词,接近用大型训练集训练的模型的性能。
2022-10-22 cs.CL
Keyphrase Generation with Correlation Constraints
Beihang University(北京航空航天大学);Tencent Lingo Lab(腾讯Lingo实验室)
本文研究了关键词的自动生成。虽然传统的方法来完成这项任务显示出有希望的结果,但它们忽略了关键词之间的相关性,从而导致重复和覆盖问题。为了解决这些问题,我们提出了一种新的序列到序列的关键短语生成架构CorrRNN,它以两种方式捕获多个关键短语之间的相关性。首先,我们采用一个覆盖向量来指示源文档中的单词是否已被先前的短语概括,以提高关键短语的覆盖率。其次,考虑前面的短语,以消除重复短语,提高结果的连贯性。实验结果表明,我们的模型显着优于国家的最先进的方法在基准数据集的准确性和多样性。
2018-08-22 cs.CL
Exclusive Hierarchical Decoding for Deep Keyphrase Generation
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
关键词生成(KG)的目的是将文档的主要思想概括为一组关键词。最近在这个问题中引入了一个新的设置,其中,给定一个文档,模型需要预测一组关键短语,同时确定要生成的关键短语的适当数量。在此设置中的先前工作采用顺序解码过程来生成关键短语。然而,这样的解码方法忽略了存在于文档的关键短语集合中的内在层次组合性。此外,以前的工作往往会产生重复的关键词,这浪费了时间和计算资源。为了克服这些限制,我们提出了一个排他性的分层解码框架,包括分层解码过程和软或硬排除机制。层次解码过程是显式地对关键短语集的层次组合性进行建模。软排除机制和硬排除机制都在窗口大小内跟踪先前预测的关键短语,以增强所生成的关键短语的多样性。在多个KG基准数据集上的大量实验证明了我们的方法在生成更少重复和更准确的关键词方面的有效性。
2020-04-18 cs.CL
Persian Keyphrase Generation Using Sequence-to-Sequence Models
Sharif University of Technology(谢里夫理工大学);ICT Research Institute(信息通信技术研究院)
关键词是输入文本的简短摘要,提供文本中讨论的主要主题。关键短语提取是有用的上游任务,并且可以用于各种自然语言处理问题,例如,文本摘要和信息检索,仅举几例。然而,并不是所有的关键词都在正文中明确提到。在现实世界的例子中,总是有一些主题被隐含地讨论。提取这样的关键词需要一个生成的方法,这是采用在这里。在本文中,我们试图解决问题的关键词生成和提取新闻文章使用深序列到序列模型。这些模型在关键词提取任务中的性能明显优于传统的方法,如Topic Rank,KPMiner和KEA。
2020-09-25 cs.CL
Neural Keyphrase Generation via Reinforcement Learning with Adaptive Rewards
The Chinese University of Hong Kong(香港中文大学);Northeastern Univesity(东北大学)
生成概括文档要点的关键词是自然语言处理中的一项基本任务。尽管现有的生成模型能够预测输入文档的多个关键短语以及确定要生成的关键短语的数量,但是它们仍然遭受生成太少关键短语的问题。为了解决这个问题,我们提出了一种用于关键短语生成的强化学习(RL)方法,该方法具有自适应奖励函数,鼓励模型生成足够和准确的关键短语。此外,我们引入了一种新的评估方法,采用维基百科知识库的地面真理关键词的名称变化。因此,我们的评估方法可以更鲁棒地评估预测关键词的质量。在五个不同规模的真实世界数据集上进行的广泛实验表明,我们的RL方法通过传统和新的评估方法一致且显着地提高了最先进的生成模型的性能。
2019-06-10 cs.CL
Topic-Aware Neural Keyphrase Generation for Social Media Language
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
每天都有大量的用户生成内容在社交媒体上产生。为了促进自动语言理解,我们研究了关键短语预测,从大量帖子中提取突出信息。虽然大多数现有的方法从源帖子中提取单词来形成关键词,但我们提出了一个基于序列到序列(seq2seq)的神经关键词生成框架,可以创建缺失的关键词。此外,我们的模型,是主题感知,允许联合建模的语料库级别的潜在主题表示,这有助于缓解数据稀疏,广泛表现在社会媒体语言。在英文和中文社交媒体平台上收集的三个数据集上的实验表明,我们的模型明显优于不利用潜在主题的提取和生成模型。进一步的讨论表明,我们的模型学习有意义的主题,这解释了它在社交媒体关键词生成的优越性。
2019-06-10 cs.CL
Evaluating the Homogeneity of Keyphrase Prediction Models
本文提出评估关键词预测模型同质性的方法,发现生成缺失关键词的能力可能降低模型同质性,而关键词提取方法与生成模型表现相当。
2026-02-13 cs.CL
Large Language Models as Zero-Shot Keyphrase Extractors: A Preliminary Empirical Study
Beijing Key Lab of Traffic Data Analysis and Mining(北京交通数据分析与挖掘重点实验室);Beijing Jiaotong University(北京交通大学)
本研究探索直接提示ChatGPT构建零样本关键短语提取模型,实验表明其性能相比现有最先进无监督和监督模型仍有较大提升空间。
2024-01-10 cs.CL
Select, Extract and Generate: Neural Keyphrase Generation with Layer-wise Coverage Attention
University of California, Los Angeles(加州大学洛杉矶分校);Yahoo Research(雅虎研究院)
自然语言处理技术在关键短语生成方面已经显示出有希望的结果。然而,\emph{neural}关键短语生成的主要挑战之一是使用深度神经网络处理长文档。通常,文档在作为神经网络的输入之前被截断。因此,模型可能会错过目标文档中传达的要点。为了克服这一限制,我们提出了\emph{SEG-Net},神经关键短语生成模型,它由两个主要组成部分,(1)选择器,选择文档中的突出句子和(2)提取器生成器,共同提取和生成关键短语从选定的句子。SEG-Net使用Transformer(一种自我关注的架构)作为基本构建块,并使用新颖的\emph{layer-wise}覆盖关注来总结文档中讨论的大多数要点。在科学和网络文档的七个关键词生成基准上的实验结果表明,SEG-Net的性能大大优于最先进的神经生成方法。
2021-06-04 cs.CL
A Preliminary Empirical Study on Prompt-based Unsupervised Keyphrase Extraction
Beijing Jiaotong University(北京交通大学)
本研究通过实证调查不同提示在无监督关键词抽取中的效果,发现复杂提示不一定优于简单提示,但面对长文档时复杂提示更有效。
2024-05-26 cs.CL
Semi-Supervised Learning for Neural Keyphrase Generation
Northeastern University(东北大学)
我们研究的问题,生成的关键词,总结了一个给定的文档的关键点。虽然序列到序列(seq2seq)模型在该任务上已经取得了显著的性能(Meng等人,2017),模型训练通常依赖于大量的标记数据,这只适用于资源丰富的领域。在本文中,我们提出了半监督关键词生成方法,利用标记数据和大规模未标记样本进行学习。提出了两个战略。首先,未标记的文档首先用从无监督关键短语提取方法或自学习算法获得的合成关键短语标记,然后与标记的样本组合用于训练。此外,我们研究了一个多任务学习框架,共同学习生成关键词以及文章的标题。实验结果表明,我们的半监督学习为基础的方法优于一个国家的最先进的模型训练的标记数据。
2019-09-06 cs.CL
Unsupervised Domain Adaptation for Keyphrase Generation using Citation Contexts
JFLI, CNRS, Nantes University(JFLI、法国国家科学研究中心、南特大学);National Institute of Informatics(情报学研究所)
本文提出无监督方法 silk,通过从引用上下文提取银标准关键短语构建合成标注数据,以解决关键短语生成跨领域适配中标注昂贵的问题,并在三个领域验证其稳定提升效果。
2024-10-02 cs.CL
UniKeyphrase: A Unified Extraction and Generation Framework for Keyphrase Prediction
Tencent AI Platform Department(腾讯AI平台部);Beijing University of Posts and Telecommunications(北京邮电大学)
关键词预测(KP)任务的目的是预测几个关键词,可以概括给定文档的主要思想。主流的KP方法可以分为纯生成方法和具有提取和生成的集成模型。然而,这些方法要么忽略了关键词之间的多样性,要么只弱捕捉任务之间的关系隐式。在本文中,我们提出了UniKeyphrase,这是一种新型的端到端学习框架,可以联合学习提取和生成关键词。在UniKeyphrase中,分别从模型结构和训练过程的角度,提出了堆叠关系层和词袋约束,充分挖掘抽取和生成之间的潜在语义关系。KP基准测试的实验表明,我们的联合方法优于主流方法的大幅度。
2021-08-31 cs.CL
MUG: A General Meeting Understanding and Generation Benchmark
Speech Lab of DAMO Academy, Alibaba Group(阿里巴巴集团达摩院语音实验室);Zhejiang University(浙江大学)
从视频会议和在线课程中收听长视频/音频记录以获取信息的效率极低。即使在ASR系统将录音转录成长格式的口语文档之后,阅读ASR记录也只能部分地加快寻找信息的速度。据观察,一系列的NLP应用,如关键词提取,主题分割和摘要,显着提高用户的效率,掌握重要信息。会议场景是部署这些口语处理(SLP)功能最有价值的场景之一。然而,缺乏大规模的公共会议数据集注释这些SLP任务严重阻碍了他们的进步。为了促进SLP的进步,我们建立了一个大规模的通用会议理解和生成基准(MUG),以衡量各种SLP任务的性能,包括主题分割,主题级和会话级提取摘要和主题标题生成,关键词提取和动作项检测。为了促进MUG基准测试,我们构建并发布了一个用于全面的长形式SLP开发的大规模会议数据集,即AliMeeting 4 MUG语料库,该语料库由654个记录的普通话会议会话组成,具有不同的主题覆盖范围,并在会议记录的手动抄本上为SLP任务进行手动注释。据我们所知,AliMeeting 4 MUG语料库是迄今为止规模最大的会议语料库,有助于大多数SLP任务。本文详细介绍了该语料库、SLP任务和评价方法、基线系统及其性能。
2023-03-27 cs.CL
Data Augmentation for Low-Resource Keyphrase Generation
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文针对低资源关键短语生成提出基于文章全文的数据增强策略,在三个数据集上验证其能持续提升最先进性能。
2023-05-29 cs.CL
An Integrated Approach for Keyphrase Generation via Exploring the Power of Retrieval and Extraction
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Alibaba DAMO Academy(阿里巴巴达摩院)
在本文中,我们提出了一种新的集成方法的关键词生成(KG)。与以前的作品是纯粹的提取或生成,我们首先提出了一个新的多任务学习框架,共同学习提取模型和生成模型。除了提取关键词之外,提取模型的输出还用于校正生成模型的复制概率分布,使得生成模型可以更好地从给定文档中识别重要内容。此外,我们从训练数据中检索与给定文档相似的文档,并使用其相关的关键词作为生成模型的外部知识,以产生更准确的关键词。为了进一步利用提取和检索的能力,我们提出了一个基于神经的合并模块,以结合和重新排序的预测关键词从增强的生成模型,提取模型,检索到的关键词。在五个KG基准上的实验表明,我们的综合方法优于最先进的方法。
2019-04-06 cs.CL
Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文通过三领域大规模实验系统比较了预训练与非预训练关键词生成方法,揭示了领域内PLMs、参数预算分配和任务形式化等关键设计选择的影响,并在科学领域取得最先进性能。
2024-02-23 cs.CL
Keyphrase Generation with Cross-Document Attention
关键词生成的目的是生成一组短语,总结给定文档的要点。传统方法通常应用编码器-解码器架构来生成输入文档的输出关键词,其中它们被设计为关注每个当前文档,因此它们不可避免地忽略了由其他类似文档携带的关键语料库级信息,即,跨文档依赖和潜在主题。本文提出了一个基于transformer的关键词生成器CDKGen,它将Transformer扩展到全局注意力,利用跨文档注意力网络将可用文档作为参考,从而在主题信息的指导下生成更好的关键词。在提出的Transformer +跨文档注意力架构的基础上,我们还采用了一种复制机制来增强我们的模型,通过从文档中选择合适的单词来处理关键短语中的词汇表外的单词。在5个基准数据集上的实验结果表明了该模型的有效性和实用性,在所有数据集上均达到了最佳性能。进一步的分析证实,该模型能够生成与参考文献一致的关键词,同时保持足够的多样性。CDKGen的代码可在https://github.com/SVAIGBA/CDKGen上获得。
2022-12-22 cs.CL
Diverse Keyphrase Generation with Neural Unlikelihood Training
Borealis AI(Borealis AI(北极星人工智能));Montreal(蒙特利尔(城市名,此处可能指机构所在地,按要求不提取额外信息,仅保留机构名部分,原机构名应为Borealis AI,Montreal为地点,故正确机构仅Borealis AI))
在本文中,我们研究序列到序列(S2 S)的关键短语生成模型从多样性的角度。神经自然语言生成的最新进展已经在关键短语生成任务上取得了显着进展,通过F1分数等质量指标的改进来证明。然而,多样性在关键词生成中的重要性在很大程度上被忽视了。我们首先分析了使用最大似然估计(MLE)训练的基线模型生成的输出中存在的信息冗余程度。我们的研究结果表明,关键词的重复是MLE训练的一个主要问题。为了缓解这个问题,我们采用神经不似然(UL)目标来训练S2 S模型。我们的UL训练版本在(1)目标令牌级别运行,以阻止重复令牌的生成;(2)复制令牌级别,以避免从源文本复制重复令牌。此外,为了在解码过程中鼓励更好的模型规划,我们结合了K步提前令牌预测目标,该目标还计算未来令牌的MLE和UL损失。通过对来自三个不同领域的数据集进行广泛的实验,我们证明了所提出的方法获得了相当大的多样性增益,同时保持了有竞争力的输出质量。
2020-10-15 cs.CL
Is ChatGPT A Good Keyphrase Generator? A Preliminary Study
Beijing Jiaotong University(北京交通大学);Tencent AI Lab(腾讯人工智能实验室)
本研究初步评估了ChatGPT在关键词生成任务上的表现,基于六个基准数据集和六个候选提示,发现其性能优异,但在生成缺失关键词方面存在挑战,表明其具有巨大潜力。
2023-12-22 cs.CL
MetaKP: On-Demand Keyphrase Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对传统关键短语预测无法满足多样化需求的问题,该研究提出按需关键短语生成范式,构建了跨领域大规模基准MetaKP,设计的自一致性提示方法使GPT-4o性能超越微调BART-base,还可作为通用NLP基础设施。
2024-10-04 cs.CL
SGG: Learning to Select, Guide, and Generate for Keyphrase Generation
JD AI Research(京东AI研究院)
关键词是对文档中讨论的高级主题的简要概括,可以分为显式出现在源文本中的当前关键词和不匹配任何相邻子序列但与源文本高度语义相关的缺失关键词。大多数现有的关键短语生成方法同步生成存在和不存在的关键短语,而没有明确区分这两个类别。本文提出了一种选择-引导-生成(SGG)方法,分别处理当前和缺席的关键短语生成与不同的机制。SGG是一个层次化的神经网络,它由一个集中于当前关键短语生成的基于指向的选择器、一个集中于缺失关键短语生成的选择引导生成器和一个集中于中间的引导器组成。四个关键词生成基准的实验结果表明,我们的模型的有效性,显着优于强基线的存在和不存在的关键词生成。此外,我们将SGG扩展到标题生成任务,这表明它在自然语言生成任务中的可扩展性。
2021-10-13 cs.AI cs.CL
ERU-KG: Efficient Reference-aligned Unsupervised Keyphrase Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出无监督关键短语生成模型 ERU-KG,通过参考对齐和词项级建模高效估计信息量,在性能上接近监督模型且推理速度最快,并支持生成与提取模式切换。
2025-05-30 cs.CL
SenSeNet: Neural Keyphrase Generation with Document Structure
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Sogou Inc.(搜狗公司)
关键词生成(KG)是从给定的文档或文学作品中生成中心主题的任务,它捕获了理解内容所必需的关键信息。科技文献中包含着丰富的元句子信息,它代表了文献的逻辑语义结构。然而,以前的方法忽略了文档逻辑结构的约束,因此他们错误地从不重要的句子中生成关键词。为了解决这个问题,我们提出了一种新的方法,称为句子选择网络(SenSeNet),将元句子归纳偏差到KG。在SenSeNet中,我们使用直通估计器进行端到端训练,并在句子选择模块的训练中加入弱监督。实验结果表明,SenSeNet能够持续提高基于seq2seq框架的主要KG模型的性能,证明了在KG任务中捕捉结构信息和区分句子重要性的有效性。
2020-12-12 cs.CL
Title-Guided Encoding for Keyphrase Generation
The Chinese University of Hong Kong(香港中文大学);Shenzhen Research Institute, The Chinese University of Hong Kong(香港中文大学深圳研究院);Department of Computer Science and EngineeringThe Chinese University of Hong Kong(香港中文大学计算机科学与工程学系)
关键词生成是在给定文档的情况下生成一组关键词的过程,是自然语言处理中的一项基本任务。大多数以前的方法以提取的方式解决这个问题,而最近,在生成环境下使用深度神经网络进行了几次尝试。然而,现有的生成方法简单地将文档标题和文档主体等同对待,忽视了标题对整个文档的主导作用。为了解决这个问题,我们引入了一个新的模型,称为标题引导网络(TG-Net),用于基于编码器-解码器架构的自动关键词生成任务,具有两个新功能:(i)标题额外用作查询式输入,以及(ii)标题引导编码器收集文档中每个单词的标题相关信息。在一系列KG数据集上的实验表明,我们的模型优于最先进的模型,具有较大的保证金,特别是对于标题长度比率非常低或非常高的文档。
2019-01-16 cs.CL
Neural Keyphrase Generation: Analysis and Evaluation
Amazon(亚马逊);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文分析T5、CatSeq-Transformer和ExHiRD在关键词生成中的置信度、校准与位置效应,并提出考虑部分匹配和语义相似性的SoftKeyScore评估框架。
2023-04-27 cs.CL cs.IR
Keyphrase Generation for Scientific Document Retrieval
LS2N, Université de Nantes(南特大学LS2N实验室);National Institute of Informatics(国立信息学研究所)
序列到序列模型在关键词生成方面取得了重大进展,但它们是否足够可靠以有利于文档检索仍然是未知的。这项研究提供了经验证据表明,这样的模型可以显着提高检索性能,并介绍了一个新的外在评估框架,允许更好地了解关键词生成模型的局限性。使用这个框架,我们指出并讨论了补充文档中遇到的困难-不存在文本-关键词,并概括模型跨域。我们的代码可在https://github.com/boudinfl/ir-using-kg上获得
2021-06-28 cs.CL cs.IR
Unsupervised Open-domain Keyphrase Generation
Hanoi University of Science and Technology(河内理工大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Cazoodle Inc.(Cazoodle公司)
提出一种由短语性和信息性模块组成的无监督序列到序列模型,用于开放域关键词生成,在八个基准数据集上达到最先进性能,并将监督与无监督方法的差距缩小至约16%。
2023-06-19 cs.CL
Keyphrase Generation: A Multi-Aspect Survey
Charles University Prague(布拉格查理大学);Czech Republic(捷克)
提取关键短语生成的研究从90年代就开始了,但是基于编码器-解码器框架和序列到序列学习的更高级的抽象方法直到最近才被探索。事实上,在过去的三年里,已经提出了十几种抽象方法,产生了有意义的关键词,并获得了最先进的分数。在这篇综述中,我们研究了提取关键词生成方法的各个方面,主要集中在最近的基于神经网络的抽象方法。我们特别关注推动后者完善的机制。为研究社区创建并发布了大量科学文章元数据和相应的关键词。我们还介绍了过去二十年来各种关键词生成和文本摘要的研究模式和趋势。
2019-10-11 cs.CL cs.IR
Retrieval-Augmented Multilingual Keyphrase Generation with Retriever-Generator Iterative Training
Amazon Inc.(亚马逊公司);Salesforce Research(赛富时研究院);University of Pittsburgh(匹兹堡大学);Chinese University of Hong Kong(香港中文大学)
关键词生成是自动预测给定一段长文本的关键词的任务。非英语语言中的关键词生成虽然近年来蓬勃发展,但尚未得到广泛的研究。在本文中,我们提请注意一个新的设置名为多语言关键词生成,我们贡献了两个新的数据集,EscherceMKP和AcademicMKP,涵盖六种语言。在技术上,我们提出了一种检索增强的方法,用于多语言的关键词生成,以减轻数据短缺的问题,在非英语语言。检索增强模型利用英语数据集中的关键短语注释,以促进在低资源语言中生成关键短语。给定非英语段落,跨语言密集段落检索模块找到相关的英语段落。然后,相关联的英语关键词作为外部知识的关键词生成在当前语言。此外,我们开发了一个检索器生成器迭代训练算法来挖掘伪平行通道对,以加强跨语言通道检索器。综合实验和烧蚀表明,所提出的方法优于所有基线。
2022-06-01 cs.AI cs.CL cs.LG
Enhancing Keyphrase Generation by BART Finetuning with Splitting and Shuffling
Graduate School of Information, Production, and Systems, Waseda University(早稻田大学信息生产系统研究科)
针对缺失关键词难以生成的问题,本文提出 Keyphrase-Focused BART,分别微调两个 BART 模型并结合关键词打乱与候选排序,在五个基准中的两个取得缺失关键词 F1@5 最优。
2023-09-13 cs.AI cs.CL cs.DL
KAPPA: A Generic Patent Analysis Framework with Keyphrase-Based Portraits
Tsinghua University(清华大学);China Intellectual Property Society(中国知识产权学会)
本文提出 KAPPA 框架,通过语义校准关键短语生成与基于提示的层次化解码构建专利画像,并用于高效专利分析,实验显示其优于现有基线。
2025-02-18 cs.CL
Unsupervised Deep Keyphrase Generation
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Virginia(弗吉尼亚大学);University of Pittsburgh(匹兹堡大学)
关键词生成的目的是总结长文档的一个集合的显着短语。深度神经模型在这项任务中取得了巨大的成功,能够预测文档中甚至没有的关键词。然而,这种抽象性是以大量的注释数据为代价的。在本文中,我们提出了一种新的方法生成关键词,AutoKeyGen,没有任何人类注释的监督。出于观察,在一个文档中缺席的关键短语可以出现在其他地方,在整个或部分,我们首先构建一个短语库汇集在语料库中的所有短语。有了这个短语库,我们然后通过部分匹配过程为每个文档绘制候选缺席关键短语。为了对这两种类型的候选人进行排名,我们将其词汇和语义级别的相似性与输入文档相结合。此外,我们利用这些排名靠前的候选人,训练一个深度生成模型,为更多的缺席关键词。大量的实验表明,AutoKeyGen优于所有无监督的基线,在某些情况下甚至可以击败强监督方法。
2021-04-18 cs.CL cs.LG
Keyphrase Generation for Scientific Articles using GANs
MIDAS, IIIT-Delhi(印度理工学院德里分校MIDAS(可能是一个研究实验室或中心));Bloomberg(彭博(公司))
在本文中,我们提出了一种使用条件生成对抗网络(GAN)的关键短语生成方法。在我们的GAN模型中,生成器根据科学文章的标题和摘要输出一系列关键词。机器人学会区分机器生成的关键词和人类策划的关键词。我们在标准基准数据集上评估了这种方法。我们的模型在生成抽象关键词方面达到了最先进的性能,并且可以与性能最好的提取技术相媲美。我们还证明了我们的方法可以生成更多样化的关键词,并使我们的实现公开可用。
2019-09-24 cs.CL cs.IR cs.LG
General-to-Specific Transfer Labeling for Domain Adaptable Keyphrase Generation
Salesforce Research(赛富时研究院);Microsoft Research(微软研究院);University of Pittsburgh(匹兹堡大学)
本研究提出三阶段流水线,通过领域通用短语预训练、迁移标注和有限数据微调,实现数据高效的关键词生成模型跨领域适应,并在实验中取得一致改进。
2023-05-07 cs.CL
On Leveraging Encoder-only Pre-trained Language Models for Effective Keyphrase Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文研究仅编码器预训练语言模型在关键短语生成中的应用,发现前缀语言模型微调策略数据高效且性能优于通用seq2seq模型,并指出参数应向模型深度倾斜。
2024-02-21 cs.CL
Applying a Generic Sequence-to-Sequence Model for Simple and Effective Keyphrase Generation
IBM Research AI(IBM研究院人工智能)
近年来,提出了许多关键短语生成(KPG)方法,包括复杂的模型结构,专用的训练范式和解码策略。在这项工作中,我们选择简单,并显示如何使用一个常用的seq2seq语言模型,BART,可以很容易地适应生成关键词从文本中使用一个简单的训练过程在一个单一的批量计算。五个基准测试的实证结果表明,我们的方法是一样好的现有国家的最先进的KPG系统,但使用一个更简单,易于部署的框架。
2022-01-14 cs.AI cs.CL
Key Algorithms for Keyphrase Generation: Instruction-Based LLMs for Russian Scientific Keyphrases
University of Tyumen(秋明大学);Novosibirsk State University(新西伯利亚国立大学)
针对俄语科学关键词生成因形态复杂和数据集有限导致现有方案受限的问题,评估基于提示的LLM方法,发现其无需特定微调即可优于常见基线,还分析了少样本示例选择策略与人工评估结果。
2024-10-23 cs.AI cs.CL
Capturing Global Informativeness in Open Domain Keyphrase Extraction
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Microsoft Research(微软研究院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Institute for Artificial Intelligence, Tsinghua University(清华大学人工智能研究院);Department of Computer Science and Technology, Northeastern University(东北大学计算机科学与技术系)
开放域关键短语提取(KPE)旨在从文档中提取关键短语,而没有域或质量限制,例如,具有不同域和质量的网页。最近,神经方法在许多KPE任务中表现出了良好的效果,这是由于它们对给定文档的上下文语义建模的强大能力。然而,我们的经验表明,大多数神经KPE方法更喜欢提取具有良好短语性的关键短语,如短的和实体风格的n元语法,而不是从开放域文档中提取全局信息的关键短语。本文提出了JointKPE,这是一个基于预训练语言模型的开放域KPE架构,它可以在提取关键短语时捕获局部短语性和全局信息性。JointKPE通过估计关键短语在整个文档中的信息量来学习对关键短语进行排名,并在关键短语分块任务上进行联合训练,以保证关键短语候选者的短语性。在OpenKP和KP20k两个不同领域的大型KPE数据集上进行的实验证明了JointKPE在开放领域场景中对不同预训练变体的有效性。进一步的分析揭示了JointKPE在预测长和非实体关键词方面的显着优势,这对于以前的神经KPE方法来说是具有挑战性的。我们的代码可在https://github.com/thunlp/BERT-KPE上公开获取。
2021-09-17 cs.CL
Self-Compositional Data Augmentation for Scientific Keyphrase Generation
Nantes University(南特大学);CNRS(法国国家科学研究中心);National Institute of Informatics(国立信息学研究所)
提出一种自组合数据增强方法,通过共享关键短语组合相似文档生成合成样本,无需外部数据,在多个领域数据集上持续提升关键短语生成性能。
2024-11-06 cs.CL cs.IR
Applying Transformer-based Text Summarization for Keyphrase Generation
University of Tyumen(秋明大学);Novosibirsk State University(新西伯利亚国立大学)
本文在四个关键短语提取基准数据集上评估基于Transformer的生成式摘要模型,发现其在F1和BERTScore上表现有效但在ROUGE-1上较差,并证明目标关键短语的排序策略会影响生成性能。
2022-10-06 cs.AI cs.CL cs.LG