Keyphrase Generation with Correlation Constraints
Beihang University（北京航空航天大学）；Tencent Lingo Lab（腾讯Lingo实验室）
本文研究了关键词的自动生成。虽然传统的方法来完成这项任务显示出有希望的结果，但它们忽略了关键词之间的相关性，从而导致重复和覆盖问题。为了解决这些问题，我们提出了一种新的序列到序列的关键短语生成架构CorrRNN，它以两种方式捕获多个关键短语之间的相关性。首先，我们采用一个覆盖向量来指示源文档中的单词是否已被先前的短语概括，以提高关键短语的覆盖率。其次，考虑前面的短语，以消除重复短语，提高结果的连贯性。实验结果表明，我们的模型显着优于国家的最先进的方法在基准数据集的准确性和多样性。
2018-08-22 cs.CL
Topic-Aware Neural Keyphrase Generation for Social Media Language
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
每天都有大量的用户生成内容在社交媒体上产生。为了促进自动语言理解，我们研究了关键短语预测，从大量帖子中提取突出信息。虽然大多数现有的方法从源帖子中提取单词来形成关键词，但我们提出了一个基于序列到序列（seq2seq）的神经关键词生成框架，可以创建缺失的关键词。此外，我们的模型，是主题感知，允许联合建模的语料库级别的潜在主题表示，这有助于缓解数据稀疏，广泛表现在社会媒体语言。在英文和中文社交媒体平台上收集的三个数据集上的实验表明，我们的模型明显优于不利用潜在主题的提取和生成模型。进一步的讨论表明，我们的模型学习有意义的主题，这解释了它在社交媒体关键词生成的优越性。
2019-06-10 cs.CL
Semi-Supervised Learning for Neural Keyphrase Generation
Northeastern University（东北大学）
我们研究的问题，生成的关键词，总结了一个给定的文档的关键点。虽然序列到序列（seq2seq）模型在该任务上已经取得了显著的性能（Meng等人，2017），模型训练通常依赖于大量的标记数据，这只适用于资源丰富的领域。在本文中，我们提出了半监督关键词生成方法，利用标记数据和大规模未标记样本进行学习。提出了两个战略。首先，未标记的文档首先用从无监督关键短语提取方法或自学习算法获得的合成关键短语标记，然后与标记的样本组合用于训练。此外，我们研究了一个多任务学习框架，共同学习生成关键词以及文章的标题。实验结果表明，我们的半监督学习为基础的方法优于一个国家的最先进的模型训练的标记数据。
2019-09-06 cs.CL
Keyphrase Extraction from Scholarly Articles as Sequence Labeling using Contextualized Embeddings
NUS（新加坡国立大学）；Bloomberg（彭博）；MIDAS-IIIT-Delhi（德里印德拉普拉斯塔信息技术学院MIDAS）
在本文中，我们制定了从学术文章中提取关键词作为一个序列标签任务解决使用BiLSTM-CRF，在输入文本中的单词表示使用深上下文嵌入。我们在三个不同的基准数据集（Inspec，SemEval 2010，SemEval 2017）上使用上下文化和固定的词嵌入模型来评估所提出的架构，并与现有流行的无监督和监督技术进行比较。我们的研究结果量化的好处（a）使用语境化的嵌入（例如BERT）固定的词嵌入（例如手套）;（b）使用BiLSTM-CRF架构与语境化的词嵌入直接微调的语境化的词嵌入模型，（c）使用特定体裁的语境化的嵌入（SciBERT）。通过错误分析，我们还提供了一些关于为什么特定模型比其他模型更好的见解。最后，我们提出了一个案例研究，我们分析了两个最好的模型（BERT和SciBERT）的不同的自我注意层，以更好地理解每个关键词提取任务的预测。
2019-10-19 cs.CL
KeyGen2Vec: Learning Document Embedding via Multi-label Keyword Generation in Question-Answering
Eindhoven University of Technology（埃因霍温理工大学）；BRIN Indonesia（印度尼西亚国家研究与创新署）
本文提出KeyGen2Vec，通过Seq2Seq多标签关键词生成学习文档嵌入，减少对标签监督的依赖，并在cQA数据集上验证其优于多标签分类器且可与主题标签监督方法竞争。
2023-10-30 cs.CL
Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文通过三领域大规模实验系统比较了预训练与非预训练关键词生成方法，揭示了领域内PLMs、参数预算分配和任务形式化等关键设计选择的影响，并在科学领域取得最先进性能。
2024-02-23 cs.CL
Automatic Standardization of Colloquial Persian
University of Pennsylvania（宾夕法尼亚大学）；Institute for Humanities and Cultural Studies（人文与文化研究所）；Institute for Cognitive Science Studies（认知科学研究所）
伊朗波斯语有两种变体：标准语和口语。大多数波斯语的自然语言处理工具都假设文本是标准格式的：这种假设在许多实际应用中是错误的，尤其是Web内容。本文描述了一种简单有效的标准化方法，基于序列到序列的翻译。我们设计了一种算法，用于生成人工并行口语到标准数据，用于学习序列到序列模型。此外，我们注释了一个公开可用的评估数据，包括1912个句子，从一个不同的域。我们的内在评估显示，与现成的基于规则的标准化模型（原始文本的BLEU得分为46.4）相比，BLEU得分更高，为62.8比61.7。我们还表明，在训练数据来自口语波斯语的情况下，我们的模型可以改进英语到波斯语的机器翻译，开发数据中的BLEU绝对评分差异为1.4，而测试数据中的BLEU绝对评分差异为0.8。
2020-12-10 cs.CL
Rethinking Model Selection and Decoding for Keyphrase Generation with Pre-trained Sequence-to-Sequence Models
University of California, Los Angeles（加州大学洛杉矶分校）
本文系统分析了模型选择与解码策略对基于预训练语言模型的键短语生成的影响，指出传统模型选择方法的局限性，并提出DeSel算法以提升贪婪搜索的召回率与语义F1表现。
2023-10-22 cs.CL
Applying a Generic Sequence-to-Sequence Model for Simple and Effective Keyphrase Generation
IBM Research AI（IBM研究院人工智能）
近年来，提出了许多关键短语生成（KPG）方法，包括复杂的模型结构，专用的训练范式和解码策略。在这项工作中，我们选择简单，并显示如何使用一个常用的seq2seq语言模型，BART，可以很容易地适应生成关键词从文本中使用一个简单的训练过程在一个单一的批量计算。五个基准测试的实证结果表明，我们的方法是一样好的现有国家的最先进的KPG系统，但使用一个更简单，易于部署的框架。
2022-01-14 cs.AI cs.CL
Diverse Keyphrase Generation with Neural Unlikelihood Training
Borealis AI（Borealis AI（北极星人工智能））；Montreal（蒙特利尔（城市名，此处可能指机构所在地，按要求不提取额外信息，仅保留机构名部分，原机构名应为Borealis AI，Montreal为地点，故正确机构仅Borealis AI））
在本文中，我们研究序列到序列（S2 S）的关键短语生成模型从多样性的角度。神经自然语言生成的最新进展已经在关键短语生成任务上取得了显着进展，通过F1分数等质量指标的改进来证明。然而，多样性在关键词生成中的重要性在很大程度上被忽视了。我们首先分析了使用最大似然估计（MLE）训练的基线模型生成的输出中存在的信息冗余程度。我们的研究结果表明，关键词的重复是MLE训练的一个主要问题。为了缓解这个问题，我们采用神经不似然（UL）目标来训练S2 S模型。我们的UL训练版本在（1）目标令牌级别运行，以阻止重复令牌的生成;（2）复制令牌级别，以避免从源文本复制重复令牌。此外，为了在解码过程中鼓励更好的模型规划，我们结合了K步提前令牌预测目标，该目标还计算未来令牌的MLE和UL损失。通过对来自三个不同领域的数据集进行广泛的实验，我们证明了所提出的方法获得了相当大的多样性增益，同时保持了有竞争力的输出质量。
2020-10-15 cs.CL
Keyphrase Prediction With Pre-trained Language Model
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
最近，生成方法已被广泛用于关键短语预测，这要归功于它们能够产生出现在源文本中的当前关键短语和不匹配任何源文本的缺失关键短语。然而，缺席的关键词是在当前关键词预测的性能的代价下产生的，因为以前的工作主要使用依赖于复制机制的生成模型，并逐步选择单词。此外，直接抽取文本跨度的抽取模型更适合于预测当前关键词。考虑到提取和生成方法的不同特点，我们提出将关键短语预测分为两个子任务，即，提出了关键短语提取（PKE）和缺失关键短语生成（AKG）两种方法，充分发挥了它们各自的优势。在此基础上，提出了一种联合推理框架，在两个子任务中充分利用BERT。对于PKE，我们使用预训练的语言模型BERT将此任务作为序列标记问题来处理。对于AKG，我们引入了一个基于transformer的架构，它通过微调的BERT完全集成了从PKE学习到的当前关键词知识。实验结果表明，我们的方法可以在基准数据集上实现这两个任务的最先进的结果。
2020-04-22 cs.CL
One2Set: Generating Diverse Keyphrases as a Set
Fudan University（复旦大学）
最近，序列到序列模型在关键短语生成（KG）的任务上取得了显着的进展，通过在训练期间以预定义的顺序连接多个关键短语作为目标序列。然而，关键短语本质上是一个无序的集合，而不是一个有序的序列。强加一个预定义的顺序将在训练过程中引入错误的偏差，这可能会严重影响关键短语之间的顺序变化。在这项工作中，我们提出了一个新的训练范例One2Set，而无需预先定义连接关键词的顺序。为了适应这种模式，我们提出了一种新的模型，利用一组固定的学习控制代码作为条件，并行生成一组关键词。为了解决训练过程中每个预测和目标之间没有对应关系的问题，提出了一种基于二分匹配的$K$分步目标分配机制，大大提高了关键词的多样性，降低了生成关键词的重复率。多个基准测试的实验结果表明，我们的方法显着优于国家的最先进的方法。
2021-05-24 cs.AI cs.CL
Improving Joint Layer RNN based Keyphrase Extraction by Using Syntactical Features
School of Electrical Engineering and Informatics Institut Teknologi Bandung（万隆理工学院电气工程与信息学院）
关键词提取作为从文本中识别重要单词或短语的任务，是在分析来自社交媒体平台的文本时识别主要主题的关键过程。在我们的研究中，我们专注于从Twitter上获取的印度尼西亚语文本。与原始的联合层递归神经网络（JRNN）只输出一个关键词序列，只使用词嵌入不同，本文提出修改JRNN的输入层，通过附加的句法特征信息，即词性、命名实体类型和依赖结构，提取多个关键词序列。由于JRNN通常需要大量数据作为训练样本，并且创建这些样本的成本很高，因此我们使用数据增强方法来增加训练样本的数量。实验结果表明，该方法的性能优于基线方法。我们的方法在精度上达到了.9597，在F1上达到了.7691。
2020-09-15 cs.CL
General-to-Specific Transfer Labeling for Domain Adaptable Keyphrase Generation
Salesforce Research（赛富时研究院）；Microsoft Research（微软研究院）；University of Pittsburgh（匹兹堡大学）
本研究提出三阶段流水线，通过领域通用短语预训练、迁移标注和有限数据微调，实现数据高效的关键词生成模型跨领域适应，并在实验中取得一致改进。
2023-05-07 cs.CL
Joint Persian Word Segmentation Correction and Zero-Width Non-Joiner Recognition Using BERT
Sharif University of Technology（谢里夫理工大学）；Dathena Science Pte. Ltd.（达特纳科学私人有限公司）
在波斯语书写系统中，单词被适当地分段;然而，在实践中，这些书写规则经常被忽视，导致单个单词被不连续地书写，而多个单词在它们之间没有任何空格。本文讨论了波斯语中的分词和零宽度非连接器（ZWNJ）识别问题，我们将其作为一个序列标记问题来处理。我们在仔细收集的500句高难度句子的语料库上获得了92.40%的宏观平均F1分数。
2020-10-28 cs.CL
Keyphrase Generation: A Multi-Aspect Survey
Charles University Prague（布拉格查理大学）；Czech Republic（捷克）
提取关键短语生成的研究从90年代就开始了，但是基于编码器-解码器框架和序列到序列学习的更高级的抽象方法直到最近才被探索。事实上，在过去的三年里，已经提出了十几种抽象方法，产生了有意义的关键词，并获得了最先进的分数。在这篇综述中，我们研究了提取关键词生成方法的各个方面，主要集中在最近的基于神经网络的抽象方法。我们特别关注推动后者完善的机制。为研究社区创建并发布了大量科学文章元数据和相应的关键词。我们还介绍了过去二十年来各种关键词生成和文本摘要的研究模式和趋势。
2019-10-11 cs.CL cs.IR
Arabic Keyphrase Extraction using Linguistic knowledge and Machine Learning Techniques
University of Benha（本哈大学）；Faculty of Engineering (Shoubra)（（舒布拉）工程学院）
本文提出了一种监督学习技术，用于抽取阿拉伯文文档的关键短语。提取器提供的语言知识，以提高其效率，而不是仅仅依赖于统计信息，如词频和距离。在分析过程中，注释的阿拉伯语语料库被用来提取所需的文档词的词汇特征。该知识还包括基于词性标签和允许的词序列的句法规则，以提取候选关键短语。在这项工作中，阿拉伯语单词的抽象形式，而不是其干的形式来代表候选人的条款。抽象形式隐藏了阿拉伯语单词中的大部分屈折变化。本文介绍了基于语言学知识的关键词的新特征，以捕获文档的标题和字幕。一个简单的方差分析测试是用来评估选定的功能的有效性。然后，使用LDA（线性判别分析）和训练文档构建学习模型。虽然，所提出的系统是使用在IT领域的文件进行训练，进行的实验表明，它有一个显着更好的性能比现有的阿拉伯语提取器系统，其中精度和召回值达到两倍，特别是在其他系统中的相应值冗长和非科学的文章。
2012-03-20 cs.CL
Keyphrase Extraction with Dynamic Graph Convolutional Networks and Diversified Inference
Alibaba Group（阿里巴巴集团）；State Key Laboratory of High Performance Computing, National University of Defense Technology（国防科技大学高性能计算国家重点实验室）
关键词提取（KE）的目的是总结一组短语，准确地表达一个概念或主题涵盖在一个给定的文档。近年来，基于序列到序列（Seq2Seq）的生成框架被广泛应用于知识工程任务中，并在各种基准测试中获得了有竞争力的性能。Seq2Seq方法的主要挑战在于获取信息丰富的潜在文档表示和更好地建模目标关键词集的组合性，这将直接影响生成的关键词的质量。本文提出采用动态图卷积网络（DGCN）同时解决上述两个问题。具体地说，我们探索将依赖树与GCN结合起来进行潜在的表示学习。此外，在我们的模型中的图结构是动态修改的学习过程中，根据生成的关键词。为此，我们的方法是能够明确地学习关键词集合内的关系，并保证编码器和解码器之间的信息交换在两个方向上。在各种KE基准数据集上的实验证明了该方法的有效性。
2020-10-24 cs.AI cs.CL
Enhancing Keyphrase Generation by BART Finetuning with Splitting and Shuffling
Graduate School of Information, Production, and Systems, Waseda University（早稻田大学信息生产系统研究科）
针对缺失关键词难以生成的问题，本文提出 Keyphrase-Focused BART，分别微调两个 BART 模型并结合关键词打乱与候选排序，在五个基准中的两个取得缺失关键词 F1@5 最优。
2023-09-13 cs.AI cs.CL cs.DL
Nested and Balanced Entity Recognition using Multi-Task Learning
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
文本中的实体识别（ER）是自然语言处理中的一项基本练习，可以实现进一步的相关任务，如知识提取，文本摘要或关键词提取。一个实体由单个单词或连续的术语序列组成，构成了通信的基本构建块。主流的ER方法主要局限于平面结构，集中于最外层的实体，而忽略了内部的实体。本文介绍了一个部分分层的网络架构，处理重叠和嵌套的情况下的复杂性。所提出的架构由两部分组成：（1）一个共享的序列层和（2）一个堆叠的组件与多个标记层。采用这种架构的优点是可以防止对特定字长的过拟合，从而保持较长实体的性能，尽管它们的频率较低。为了验证所提出的架构的有效性，我们训练和评估这个架构，以识别两种实体-概念（CR）和命名实体（NER）。我们的方法实现了最先进的NER性能，同时它优于以前的CR方法。考虑到这些有希望的结果，我们看到了发展其他情况下，如提取事件或检测有争议的组件的架构的可能性。
2021-06-11 cs.CL cs.IR cs.LG
BSDAR: Beam Search Decoding with Attention Reward in Neural Keyphrase Generation
Eindhoven University of Technology（埃因霍温理工大学）；BRIN Indonesia（印度尼西亚国家研究与创新署）
本文针对神经关键短语生成中的长度偏差和束多样性问题，提出基于词级与n-gram级奖励函数的束搜索解码策略BSDAR，有效提升关键短语生成质量。
2023-10-30 cs.CL cs.LG stat.ML
One Size Does Not Fit All: Generating and Evaluating Variable Number of Keyphrases
Microsoft Research（微软研究院）；University of Pittsburgh（匹兹堡大学）
不同的文本本质上应对应不同数量的关键词。现有的神经关键短语生成模型在很大程度上缺少这种必要条件。在这项研究中，我们从建模和评估的角度来解决这个问题。我们首先提出了一个递归生成模型，生成多个关键词作为分隔符分隔的序列。通过操纵解码器隐藏状态，使用两种新技术进一步增强了生成分集。与以前的方法相比，我们的模型能够生成不同的关键词并控制输出的数量。我们进一步提出了两个评估指标针对变量数生成。我们还引入了一个新的数据集StackEx，它扩展了现有的唯一类型（即，学术写作）中的关键短语生成任务。使用以前的和新的评估指标，我们的模型在所有数据集上都优于强基线。
2020-05-12 cs.CL cs.LG
TajPersLexon: A Tajik-Persian Lexical Resource and Hybrid Model for Cross-Script Low-Resource NLP
Institute of Computational Mathematics and Information Technologies（计算数学与信息科技学院）
本文提出TajPersLexon，一个包含40112词对的塔吉克-波斯语平行词汇资源，通过混合模型在低资源环境下实现跨脚本词检索与对齐，取得96.4%准确率。
2026-05-07 cs.CL
Keyphrase Generation for Scientific Articles using GANs
MIDAS, IIIT-Delhi（印度理工学院德里分校MIDAS（可能是一个研究实验室或中心））；Bloomberg（彭博（公司））
在本文中，我们提出了一种使用条件生成对抗网络（GAN）的关键短语生成方法。在我们的GAN模型中，生成器根据科学文章的标题和摘要输出一系列关键词。机器人学会区分机器生成的关键词和人类策划的关键词。我们在标准基准数据集上评估了这种方法。我们的模型在生成抽象关键词方面达到了最先进的性能，并且可以与性能最好的提取技术相媲美。我们还证明了我们的方法可以生成更多样化的关键词，并使我们的实现公开可用。
2019-09-24 cs.CL cs.IR cs.LG
SimCKP: Simple Contrastive Learning of Keyphrase Representations
Naver Webtoon AI（Naver Webtoon人工智能）；KAIST AI（韩国科学技术院人工智能）
提出SimCKP对比学习框架，通过两阶段提取与重排序关键短语表示，显著超越现有最先进模型。
2023-10-12 cs.AI cs.CL cs.LG
Enhancing Keyphrase Extraction from Long Scientific Documents using Graph Embeddings
Comillas Pontifical University（科米亚斯宗座大学）；Bloomberg（彭博社）
本研究提出一种图增强序列标注架构，通过图卷积网络生成的图嵌入来增强预训练语言模型的上下文表示，显著提升了长科学文档中关键短语抽取的F1分数。
2023-05-16 cs.AI cs.CL
One2set + Large Language Model: Best Partners for Keyphrase Generation
School of Informatics, Xiamen University（厦门大学信息学院）；Cognitive Computing Lab, Baidu Research（百度研究院认知计算实验室）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学与应用研究院）
针对关键短语生成中召回与精确难以兼顾的问题，提出先生成后选择框架，以 one2set 模型生成候选并用大语言模型选择，通过最优传输分配和序列标注选择实现性能显著提升。
2024-10-21 cs.AI cs.CL
Neural Argument Generation Augmented with Externally Retrieved Evidence
College of Computer and Information Science（计算机与信息科学学院）；Northeastern University（东北大学）
高质量的论据是人类推理和决策过程的基本要素。然而，有效的论证构建对人类和机器来说都是一项具有挑战性的任务。在这项工作中，我们研究了一个新的任务，自动生成一个不同的立场为一个给定的声明参数。我们提出了一个编码器-解码器风格的神经网络为基础的参数生成模型丰富的外部检索证据从维基百科。我们的模型首先生成一组谈话要点短语作为中间表示，然后由一个单独的解码器根据输入和关键短语生成最终参数。从Reddit收集的大规模数据集上的实验表明，我们的模型根据自动评估和人工评估，比流行的序列到序列生成模型构建具有更多主题相关内容的参数。
2018-05-25 cs.CL
PAIR: Planning and Iterative Refinement in Pre-trained Transformers for Long Text Generation
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）；Computer Science and Engineering（计算机科学与工程）；University of Michigan（密歇根大学）
预先训练的Transformers在生成长而流畅的文本方面取得了令人印象深刻的突破，但它们的输出通常是“漫无边际”的，没有连贯的内容。在这项工作中，我们提出了一种新的内容控制的文本生成框架，PAIR，规划和迭代细化，这是建立在一个大的模型，BART。我们首先适应BERT模型自动构建的内容计划，包括关键词分配和相应的文档级别的位置。BART模型用于生成，而不修改其结构。然后，我们提出了一个细化算法，逐步提高序列到序列的框架内的生成质量。使用自动度量进行的评估表明，添加规划一致地提高了三个不同领域的生成质量，平均提高了20个BLEU点和12个METEOR点。此外，人类法官认为我们的系统输出比没有计划的比较更相关和一致。
2020-10-05 cs.CL
TAN-NTM: Topic Attention Networks for Neural Topic Modeling
Adobe（奥多比公司）；Birla Institute of Technology Science Pilani (BITS Pilani)（比尔拉科学技术学院（皮拉尼））；Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校）
主题模型已被广泛用于学习文本表示和深入了解文档语料库。为了进行主题发现，大多数现有的神经模型要么将文档词袋（BoW）或令牌序列作为输入，然后进行变分推理和BoW重构来学习主题词分布。然而，在文档编码期间利用主题词分布来学习更好的功能还没有被探索太多。为此，我们开发了一个框架TAN-NTM，它通过LSTM将文档处理为一个令牌序列，LSTM的上下文输出以主题感知的方式参与。我们提出了一种新的注意力机制的因素，在主题词的分布，使模型出席相关的话，传达主题相关的线索。然后利用主题注意模块的输出进行变分推理。我们进行了广泛的消融和实验，在几个基准数据集-20 Newsgroups，Yelp Review Polarity和AGNews的NPMI一致性中，现有SOTA主题模型的得分提高了约9- 15%。此外，我们表明，我们的方法学习更好的潜在文档主题功能相比，现有的主题模型，通过改进两个下游任务：文档分类和主题引导的关键词生成。
2021-07-09 cs.CL
WriterForcing: Generating more interesting story endings
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题产生有趣的故事结局。神经生成模型已经在各种文本生成问题上显示出了很好的结果。序列到序列（Seq2Seq）模型通常被训练为针对给定的输入序列生成单个输出序列。然而，在一个故事的背景下，多个结局是可能的。Seq2Seq模型倾向于忽略上下文并生成通用和乏味的响应。很少有作品研究在给定的故事背景下产生多样化和有趣的故事结局。在本文中，我们提出了通过以下方式生成更多样化和有趣的输出的模型：1）训练模型以将注意力集中在故事的重要关键词上，以及2）促进非通用词的生成。我们表明，两者的结合导致更多样化和有趣的结局。
2019-07-18 cs.CL cs.LG stat.ML
PSG: Prompt-based Sequence Generation for Acronym Extraction
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
首字母缩略词提取旨在找到首字母缩略词（即，短形式）及其含义（即，长格式），这对于科学文档理解（SDU@AAAI-22）任务很重要。以前的作品致力于建模这个任务作为一个段落级序列标签问题。然而，它缺乏对外部知识的有效利用，特别是当数据集处于低资源环境时。近年来，利用大量预训练语言模型的基于语义的方法可以显著提高低资源下游任务的性能。在本文中，我们提出了一个基于序列生成（PSG）的方法的首字母缩略词提取任务。具体来说，我们设计了一个模板，用于提示提取的缩略语文本与自回归。位置提取算法被设计用于提取所生成的答案的位置。在低资源环境下的越南语和波斯语缩略词提取结果表明，该方法优于所有其他竞争国家的最先进的（SOTA）的方法。
2021-12-09 cs.AI cs.CL
From Lazy to Prolific: Tackling Missing Labels in Open Vocabulary Extreme Classification by Positive-Unlabeled Sequence Learning
Institute for Clarity in Documentation（文档清晰研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗肯科特中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文提出 PUSL，将 OXMC 重构为无限关键词生成任务，并结合 F1@O 与 B@k 指标，缓解缺失标签导致的生成不足和评估失真问题。
2025-01-09 cs.CL cs.IR
