Phraseformer: Multimodal Key-phrase Extraction using Transformer and Graph Embedding
University of Tabriz（大不里士大学）；Ayvansaray University（艾万萨雷大学）
背景：关键词抽取是自然语言处理领域的一个热门研究课题。关键字是描述文档中最相关信息的术语。如何高效、准确地从文档中提取核心关键词是研究者面临的主要问题。然而，以前的关键词提取方法都利用了文本和图形特征，缺乏能够正确学习和以最佳方式组合这些特征的模型。方法：在本文中，我们开发了一个多模态的关键短语提取方法，即Phraseformer，使用Transformer和图形嵌入技术。在Phraseformer中，每个关键词候选都由一个向量表示，该向量是文本和结构学习表示的串联。Phraseformer利用了最近的研究，如BERT和ExEm的优点，以保持这两种表示。此外，Phraseformer将关键短语提取任务视为使用分类任务解决的序列标记问题。结果：我们通过F1-score分析了Phraseformer在Inspec，SemEval 2010和SemEval 2017三个数据集上的性能。此外，我们还研究了不同分类器在Inspec数据集上对Phraseformer方法的性能。实验结果证明了Phraseformer方法在三个数据集上的有效性。此外，随机森林分类器在所有分类器中获得最高的F1分数。结论：BERT和ExEm的结合更有意义，更能表征词语的语义。因此，Phraseformer显著优于单模态方法。
2021-06-09 cs.AI cs.CL cs.LG
Contrastive Learning for Weakly Supervised Phrase Grounding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；Bar Ilan University（巴伊兰大学）
短语基础，将图像区域与字幕词相关联的问题，是视觉语言任务的重要组成部分。我们表明，短语接地可以通过优化字区域的注意，以最大限度地提高图像和字幕词之间的互信息的下限。给定成对的图像和字幕，我们最大限度地提高了注意力加权区域和相应字幕中的单词的兼容性，相比于非对应的图像和字幕对。其核心思想是通过语言模型指导的词替换来构造有效的负面字幕。与来自训练数据的随机采样负数相比，使用我们的负数进行训练会在准确性方面产生$\sim10\%$绝对增益。我们在COCO-Captions上训练的弱监督短语接地模型显示了$5.7\%$的健康增益，以在Flickr 30 K Entities基准上实现$76.7\%$准确性。
2020-08-05 cs.CL cs.CV cs.LG
BattRAE: Bidimensional Attention-Based Recursive Autoencoders for Learning Bilingual Phrase Embeddings
Xiamen University（厦门大学）；Soochow University（苏州大学）
在本文中，我们提出了一个二维注意递归自动编码器（BattRAE）集成线索和sourcetarget互动在多个级别的粒度双语短语表示。我们采用递归自动编码器来生成具有不同粒度级别的嵌入的短语的树结构（例如，单词、子短语和短语）。在源端和目标端的这些嵌入上，我们引入了一个二维注意力网络来学习它们在二维注意力矩阵中编码的交互，从中我们同时提取两个软注意力权重分布。这些权重分布使BattRAE能够通过卷积生成合成短语表示。基于学习的短语表示，我们进一步使用双线性神经模型，通过最大边缘方法训练，以衡量双语语义相似性。为了评估BattRAE的有效性，我们将这种语义相似性作为一个额外的功能到一个国家的最先进的SMT系统。在NIST中英文测试集上的大量实验表明，我们的模型在基线上平均获得了高达1.63个BLEU点的显著改善。
2016-11-25 cs.CL
Improving Multimodal Contrastive Learning of Sentence Embeddings with Object-Phrase Alignment
The University of Tokyo（东京大学）
针对多模态句子嵌入训练中图像-字幕对存在噪声的问题，提出结合细粒度对象-短语对齐的MCSEO方法，利用分割与检测模型提取配对优化对比学习目标，在STS任务上 consistently 优于强基线。
2025-08-01 cs.CL
Ontology-Aware Token Embeddings for Prepositional Phrase Attachment
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；DeepMind
类型级词嵌入使用相同的参数集来表示词的所有实例，而不管其上下文如何，忽略了语言中固有的词汇歧义。相反，我们嵌入WordNet中定义的语义概念（或同义词集），并通过估计相关语义概念的分布来表示特定上下文中的单词标记。我们在一个模型中使用新的上下文敏感的嵌入来预测介词短语（PP）附件，并共同学习概念嵌入和模型参数。我们发现，使用上下文敏感的嵌入提高了5.4%的绝对点的PP附件模型的准确性，这相当于一个34.4%的相对减少错误。
2017-05-08 cs.CL
Connecting the Dots: Inferring Patent Phrase Similarity with Retrieved Phrase Graphs
The Hong Kong University of Science and Technology（香港科技大学）
针对专利语言专业导致现有语义相似度方法表现不佳的问题，提出图增强方法构建专利短语图，结合局部上下文与全局图嵌入，并通过自监督目标端到端优化，显著提升了专利短语相似度推断性能。
2024-03-24 cs.CL
From Incremental Meaning to Semantic Unit (phrase by phrase)
The University of Melbourne（墨尔本大学）
本文描述了一种实验方法，以检测最小语义单位及其意义（DiMSUM），在SemEval 2016任务10的框架内进行了探索。该方法主要是基于词嵌入和基于解析器的功能的组合，并采用单向增量计算的多词表达式的组合嵌入。
2016-04-17 cs.CL
Learning to Understand Phrases by Embedding the Dictionary
University of Cambridge（剑桥大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）；Université de Montréal（蒙特利尔大学）
学习丰富语义词表示的分布模型是最近NLP研究的成功案例。然而，事实证明，开发学习短语和句子的有用表示的模型要困难得多。我们建议使用日常词典中的定义作为弥合词汇和短语语义之间差距的一种手段。神经语言嵌入模型可以被有效地训练，以将字典定义（短语）映射到由这些定义定义的单词的（词汇）表示。我们提出了这些架构的两个应用程序：“反向字典”，返回一个概念的名称给出了定义或描述和一般知识的填字游戏问题的答案。在这两项任务中，神经语言嵌入模型在少数免费可用的词汇资源的定义上进行训练，其表现与依赖于重要任务特定工程的现有商业系统一样好或更好。结果突出了神经嵌入架构和基于定义的训练对于开发理解短语和句子的模型的有效性。
2016-03-22 cs.CL
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
University of Arkansas at Little Rock（阿肯色大学小石城分校）；Infosys Ltd.（印孚瑟斯有限公司）；IIIT-Delhi（德里英迪拉·甘地信息技术学院）；National University of Singapore（新加坡国立大学）
关键词提取是自然语言处理中的一项基本任务，它有助于将文档映射到一组简洁的代表性单词和多词短语。文本文档中的关键词主要使用监督和非监督方法提取。在本文中，我们提出了一种无监督的技术，使用主题加权个性化PageRank算法和神经短语嵌入的组合提取和排名关键字。我们还介绍了一种有效的方法来处理文本文档和训练短语嵌入使用现有的技术。我们共享一个从现有数据集派生的评估数据集，该数据集用于选择底层嵌入模型。排名关键词提取的评估是在两个基准数据集上进行的，包括短摘要（Inspec）和长科学论文（SemEval 2010），并显示出比最先进的系统更好的结果。
2018-07-16 cs.CL
Distance Metric Learning for Aspect Phrase Grouping
Wuhan University（武汉大学）；Pingdingshan University（平顶山学院）；Singapore University of Technology and Design（新加坡科技设计大学）
方面短语分组是方面级情感分析的一项重要任务。由于一词多义和语境依赖性的存在，这是一个具有挑战性的问题。我们提出了一种基于注意力的深度距离度量学习（ADDML）方法，通过考虑方面短语表示以及上下文表示。首先，利用评论文本的特点，我们自动生成方面短语样本对远程监督。其次，我们将体短语及其上下文的词嵌入输入到基于注意力的神经网络中，以学习上下文的特征表示。体短语嵌入和上下文嵌入都用于学习深度特征子空间，用于测量K-means聚类的体短语之间的距离。在四个评论数据集上的实验表明，该方法优于最先进的强基线方法。
2016-10-30 cs.CL
Span-Aggregatable, Contextualized Word Embeddings for Effective Phrase Mining
Genesys（晶讯科技）
针对含噪上下文下单向量句子表示短语检索效果差、多跨度表示计算成本高的问题，提出可聚合的上下文感知词嵌入方法，通过改进对比损失实现，在自建数据集上以低计算量提升了短语挖掘效果。
2024-05-12 cs.CL
Supervised Topical Key Phrase Extraction of News Stories using Crowdsourcing, Light Filtering and Co-reference Normalization
CMU（卡内基梅隆大学）；INESC-IST
快速有效的自动索引对于搜索和个性化服务至关重要。由一个或多个单词组成并代表文档主要概念的关键短语通常用于索引目的。在本文中，我们研究使用额外的语义特征和预处理步骤，以提高自动关键短语提取。这些功能包括使用信号词和自由基类别。这些功能中的一些导致结果的准确性显着提高。我们还尝试了两种形式的文档预处理，我们称之为光过滤和共指规范化。轻度过滤从文档中删除句子，这些句子被认为是其主要内容的外围。共指规范化将同一命名实体的几种书面形式统一为一种唯一的形式。我们还需要一个“黄金标准”--一组用于训练和评估的标记文档。虽然关键短语选择的主观性排除了真正的“黄金标准”，但我们使用亚马逊的Mechanical Turk服务来获得有用的近似值。我们的数据表明，性能的最大改进是由于浅语义特征，新闻类别和修辞信号（nDCG 78.47%对68.93%）。包含更深层次的语义特征（如Freebase子类别）本身并没有好处，但与预处理相结合，确实使nDCG评分略有改善。
2013-06-20 cs.CL cs.IR
PiC: A Phrase-in-Context Dataset for Phrase Understanding and Semantic Search
Auburn University（奥本大学）；Adobe Research（奥多比研究院）
虽然上下文化的词嵌入已经是一个事实标准，但学习上下文化的短语嵌入却很少被探索，并且由于缺乏人类注释的基准而受到阻碍，该基准测试机器对给定上下文句子或段落（而不是单独的短语）的短语语义的理解。为了填补这一空白，我们提出了PiC --一个包含约28 K名词短语及其上下文维基百科页面的数据集，以及一套用于训练和评估短语嵌入的三个任务。PiC上的训练提高了排名模型的准确性，并显著推动了跨度选择（SS）模型（即，预测目标短语的开始和结束索引）接近人类的准确性，其在给定查询短语和段落的语义搜索上为95%的精确匹配（EM）。有趣的是，我们发现证据表明，这种令人印象深刻的表现是因为SS模型学习更好地捕捉短语的共同含义，而不管其实际上下文。SotA模型在区分两个上下文中同一短语的两个含义（约60%EM）和估计同一上下文中两个不同短语之间的相似性（约70%EM）方面表现不佳。
2023-02-02 cs.AI cs.CL
Text2Node: a Cross-Domain System for Mapping Arbitrary Phrases to a Taxonomy
Knowtions Research Inc.（Knowtions Research公司）
电子健康记录（EHR）系统在整个医疗保健领域得到广泛使用。然而，由于跨系统使用不同的编码标准，EHR系统之间的数据可互换性受到限制。现有的基于人工人类专家映射、字典映射、符号NLP和分类的编码标准映射方法是不可扩展的，并且不能适应大规模的EHR数据集。在这项工作中，我们提出了Text 2Node，一个跨域映射系统，能够将医学短语映射到大型分类法（如SNOMED CT）中的概念。该系统被设计为从有限的训练样本集合进行概括，并将短语映射到未被训练数据覆盖的分类的元素。因此，我们的系统是可扩展的，强大的编码系统之间的措辞变体，并可以输出高度相关的概念时，没有确切的概念存在于目标分类。Text 2Node的操作主要分为三个阶段：首先，将词典映射到词嵌入;其次，使用节点嵌入对分类进行向量化;最后，训练映射函数以连接两个嵌入空间。我们比较了每个训练阶段的多种算法和架构，包括GloVe和FastText词嵌入，CNN和Bi-LSTM映射函数，以及节点嵌入的node 2 vec。我们通过将ICD-9-CM诊断短语映射到SNOMED CT并通过zero-shot训练以相当的准确度确认了Text 2Node的稳健性和泛化特性。该系统是一种新的方法学贡献的规范化和链接短语的分类，推进医疗保健中的数据可重复性的任务。当应用时，该系统可以使用电子健康记录来生成嵌入，该嵌入包含分类医学知识以改进临床预测模型。
2019-04-11 cs.CL cs.LG stat.ML
Open Knowledge Graphs Canonicalization using Variational Autoencoders
IBM Research AI（IBM研究院人工智能部）；Thomas J. Watson Research Center（托马斯·J·沃森研究中心）
开放知识图谱中的名词短语和关系短语没有规范化，导致冗余和模糊的主语-关系-宾语三元组的爆炸。解决这个问题的现有方法采取两步方法。首先，他们为名词和关系短语生成嵌入表示，然后使用聚类算法使用嵌入作为特征对它们进行分组。在这项工作中，我们提出了规范化使用变分自编码器（CUVA），一个联合模型，学习嵌入和集群分配在一个端到端的方法，这导致了一个更好的向量表示的名词和关系短语。我们对多个基准测试的评估表明，CUVA优于现有的最先进的方法。此外，我们引入了CanonicNell，一个新的数据集来评估实体规范化系统。
2021-09-27 cs.AI cs.CL cs.IR
Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications
Ericsson AB（爱立信公司）；Uppsala University（乌普萨拉大学）
已经探索了几种方法来自动化系统映射（SM）和系统评价（SR）方法的一部分。挑战通常围绕文本语义理解的差距以及缺乏弥合这一差距所需的领域和背景知识而演变。在本文中，我们研究可能的方法自动化部分SM/SR过程，即提取关键字和关键短语从科学文献中使用无监督的方法，然后使用语义关键短语聚类技术作为基础，构建相应的分类方案。具体而言，我们探讨了集成分数测量在关键短语提取中的作用，我们探讨了基于语义网络的词嵌入在短语语义的嵌入表示中的作用，最后我们还探讨了如何使用聚类来对相关的关键短语进行分组。评估是在与“可解释的人工智能”领域有关的出版物数据集上进行的，我们使用标准的公开数字图书馆和索引术语（关键词）集构建了该数据集。实验结果表明：集成排序得分确实提高了关键词提取的性能。基于ConceptNet语义网络的基于语义网络的词嵌入与上下文化的词嵌入具有相似的性能，但是前者的计算效率更高。最后，在术语级进行语义关键词聚类，可以将相似的术语聚集在一起，从而适合于分类方案。
2021-02-08 cs.CL
Lexicon Infused Phrase Embeddings for Named Entity Resolution
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
大多数用于命名实体识别（NER）的最先进的方法使用词簇和词典形式的半监督信息。最近，已经探索了基于神经网络的语言模型，因为它们作为副产品生成词的高度信息化的向量表示，称为词嵌入。在本文中，我们提出了两个贡献：一种新的形式的学习词嵌入，可以利用相关词汇的信息，以改善表示，和第一个系统使用神经词嵌入，以实现国家的最先进的结果，命名实体识别在CoNLL和Ontonotes NER。我们的系统在CoNLL 2003的测试集上获得了90.90的F1分数-明显优于以前任何基于公共数据训练的系统，并与采用大量私有工业查询日志数据的系统相匹配。
2014-04-22 cs.CL
Contextual Compositionality Detection with External Knowledge Bases andWord Embeddings
University of Copenhagen（哥本哈根大学）；University of Padua（帕多瓦大学）
当一个短语的含义不能从其单词的单个含义推断时（例如，热狗），则该短语被称为非合成。多词短语中的自动组合性检测在任何语义处理应用中都是至关重要的，例如搜索引擎;未能检测到非组合短语会显着损害系统的有效性。现有的研究将短语以确定性的方式分为合成短语和非合成短语。在本文中，我们操作的观点，组合性是上下文，而不是确定性，即，一个短语是合成的还是非合成的取决于它的上下文。例如，“绿卡”一词在指绿色卡时是合成的，而在指永久居留许可时是非合成的。我们解决的挑战，检测这种类型的上下文组合如下：给定一个多字的短语，我们丰富的词嵌入表示其语义的证据，其全球范围内（条款，它经常搭配），以及其本地上下文（叙述，该短语被使用，我们称之为使用场景）。我们进一步扩展这种表示与外部知识库中提取的信息。由此产生的表示合并本地化的上下文和更一般的短语的用法，并允许检测其组合在一个非确定性和上下文的方式。通过众包上下文组合性评估手动收集的短语组合性数据集对我们的模型进行了实证评估，结果表明我们的模型在检测短语组合性方面优于最先进的基线。
2019-03-20 cs.AI cs.CL
How to Understand "Support"? An Implicit-enhanced Causal Inference Approach for Weakly-supervised Phrase Grounding
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对弱监督短语定位中被忽视的隐式短语-区域关系，本文提出结合干预与反事实的IECI因果推断方法，并构建隐式增强数据集，验证其显著优于现有基线及多模态大语言模型。
2024-03-04 cs.AI cs.CL
Unsupervised Low-Dimensional Vector Representations for Words, Phrases and Text that are Transparent, Scalable, and produce Similarity Metrics that are Complementary to Neural Embeddings
University of Illinois College of Medicine（伊利诺伊大学医学院）
神经嵌入是一组流行的方法，用于将单词，短语或文本表示为低维向量（通常为50 - 500维）。然而，很难以有意义的方式解释这些维度，并且创建神经嵌入需要对多个参数和超参数进行广泛的训练和调整。我们在这里提出了一个简单的无监督的方法来表示单词，短语或文本作为一个低维向量，其中的意义和维度的相对重要性是透明的检查。我们已经创建了一个近乎全面的矢量表示的话，并选择二元组，三元组和缩写，使用的标题和摘要集在PubMed作为语料库。这个向量被用来创建几个新的隐式词-词和文本-文本相似性度量。隐式词-词相似性度量与人类对词对相似性和相关性的判断密切相关，并且在各种生物医学基准上优于或等于所有其他报告的方法，包括在PubMed语料库上训练的神经嵌入的几种实现。与基于word2vec的度量相比，我们的隐式词-词度量捕获了词-词相关性的不同方面，并且仅部分相关（rho =~0.5 - 0.8，取决于任务和语料库）。单词、双字母组、三字母组、缩写和PubMed标题+摘要的矢量表示都可以从www.example.com公开获得，并在CC-BY-NC许可下发布。在同一个网站上也提供了几个公共网络查询界面，其中一个允许用户指定一个给定的单词，并根据直接同现以及不同的隐式相似性度量来查看其最密切相关的术语。
2018-01-09 cs.CL cs.IR
On the Compositionality Prediction of Noun Phrases using Poincaré Embeddings
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Universität Hamburg（汉堡大学）
多词短语的组合度是指一个短语的意义在多大程度上可以由其组成成分的意义及其语法关系推导出来。预测（非）组合性是一项经常使用分布式语义模型解决的任务。我们引入了一种新的技术，混合层次信息与分布信息预测组合。特别是，我们使用上位信息的多词和它的成分编码的形式，最近推出的庞加莱嵌入除了分布信息来检测组合名词短语。使用分布相似性的加权平均值和庞加莱相似性函数，我们在三个金标准数据集上获得了一致的、实质性的、统计学上显著的改进，这些改进超过了仅基于分布信息的最新模型。与传统方法仅使用无监督设置不同，我们还将问题框定为有监督的任务，获得了可比的改进。此外，我们公开发布了我们的庞加莱嵌入，这些嵌入是在大型语料库上手工制作的词汇-句法模式的输出上训练的。
2019-06-07 cs.CL
Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning
虽然提供了惊人的上下文化的标记级表示，目前的预训练语言模型实际上很少注意在其自我监督的预训练过程中获取标记级表示。如果自监督学习可以分为生成学习和对比学习两个子类，那么现有的研究表明，句子表示学习可能更多地受益于对比方法，而不是生成方法。然而，对比学习不能很好地兼容常见的令牌级生成自监督学习，并且不能保证下游语义检索任务的良好性能。因此，为了减轻这种明显的不便，我们提出了一种新的生成自监督学习目标的基础上短语重建。实证研究表明，我们的生成学习可以产生足够强大的句子表示，并实现与对比学习在句子文本相似性（STS）任务的性能。此外，在无监督设置方面，我们的生成方法在下游语义检索任务的基准上优于以前最先进的SimCSE。
2022-10-21 cs.CL
Word and Phrase Translation with word2vec
单词和短语表是机器翻译的关键输入，但制作成本很高。新的无监督学习方法在高维向量空间中表示单词和短语，这些单语嵌入已被证明可以编码语言元素之间的句法和语义关系。这些嵌入捕获的信息可以通过学习转换矩阵来用于双语翻译，该转换矩阵允许在两个单语向量空间中匹配相对位置。该方法旨在从未标记的数据中更经济有效地识别高质量的单词和短语翻译候选。本文将以前的双语翻译尝试的范围扩大到四种语言（英语，德语，西班牙语和法语）。它展示了如何处理源数据，训练一个神经网络来学习各个语言的高维嵌入，并扩展了测试英语之外的质量的框架。此外，它还展示了如何学习双语转换矩阵，获得单词和短语翻译的候选项，并评估其质量。
2018-04-24 cs.AI cs.CL
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute（伊迪亚普研究所）
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型，有效地学习蕴涵的词嵌入，使用最近提出的框架，在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据，他们对这个短语向量的贡献，或作为一个单词短语向量的后验分布，并发现后验向量表现更好。在无监督和半监督实验中，所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Exploring Fine-Tuned Embeddings that Model Intensifiers for Emotion Analysis
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；University of Stuttgart（斯图加特大学）
像“有点惊讶”、“完全震惊”或“一点也不震惊”这样的形容词短语没有被当前公开的最先进的情绪分类和强度预测系统正确地处理，这些系统使用占主导地位的非上下文化的词嵌入作为输入。基于这一发现，我们分析了这些系统所使用的嵌入在处理这种情况下，他们的能力之间的差异。此外，我们认为，情感词的上下文中的增强需要特殊的处理，建立情感极性分类，但不是更细粒度的情感预测。为了解决这个问题，我们分析了不同方面的后处理管道，丰富了这些短语的单词表示。这包括在短语层面和子词层面上扩展语义空间，然后对情感词汇进行改造。我们使用A La Carte和Bag-of-Substrings扩展来评估这些步骤的影响，这些扩展基于预训练的GloVe，Word 2 vec和fastText嵌入，针对包含我们的焦点短语的推文的强度注释的众包语料库。我们表明，基于fastText的模型不会从处理这些特定的短语中获益。对于Word 2 vec嵌入，我们证明了我们的后处理管道在密集填充增强器的新型数据集上将结果提高了8%。
2019-04-05 cs.CL
Exploring phrase-compositionality in skip-gram models
在本文中，我们介绍了一个变化的跳跃语法模型，共同学习分布式词向量表示和他们的方式组成，以形成短语嵌入。特别是，我们提出了一个学习过程，采用了一个短语组合功能，可以捕捉我们想要如何组成短语向量，从他们的组成词向量。我们的实验表明，改进的单词和短语的相似性任务，以及句法任务，如依存句法分析使用建议的联合模型。
2016-07-21 cs.CL
Extracting Text Representations for Terms and Phrases in Technical Domains
IBM Research（IBM研究院）
本文提出一种完全无监督的文本编码方法，通过训练小型字符级模型重建大型预训练嵌入矩阵，在技术领域中达到与句子编码器相当的质量，同时模型体积缩小5倍、速度提升最高10倍。
2023-05-25 cs.AI cs.CL cs.LG
Distributional semantics beyond words: Supervised learning of analogy and paraphrase
National Research Council Canada（加拿大国家研究委员会）
已经有一些努力将分布式语义扩展到单个单词之外，以测量单词对，短语和句子的相似性（简单地说，元组;单词的有序集合，连续或不连续）。扩展到单词之外的一种方法是使用一个函数来比较两个元组，该函数组合元组中的组成单词之间的成对相似性。这种方法的优点是它可以处理关系相似性（类比）和组成相似性（释义）。然而，过去的工作需要手工编码的组合功能，为不同的任务。本文的主要贡献是通过监督学习生成组合函数。我们在测量词对之间的关系相似性（SAT类比和SemEval~2012任务2）以及测量名词修饰语短语和一元词之间的成分相似性（多项选择释义问题）方面取得了最先进的结果。
2013-10-18 cs.AI cs.CL cs.IR
Learning sentence embeddings using Recursive Networks
学习概括性好的句子向量是一项具有挑战性的任务。在本文中，我们比较了三种学习短语嵌入的方法：1）使用LSTM，2）使用递归网络，3）使用短语的POS信息的方法2的变体。我们对单词的字典定义进行训练，以获得类似于Felix等人的反向字典应用程序。为了看看我们的嵌入是否可以转移到一个新的任务中，我们还在烂番茄数据集上进行了训练和测试[2]。我们进行训练，保持句子嵌入固定以及微调。
2018-05-22 cs.CL
Yseop at FinSim-3 Shared Task 2021: Specializing Financial Domain Learning with Phrase Representations
Yseop
在本文中，我们提出了我们的方法FinSim-3共享任务2021：学习金融领域的语义相似性。这个共享任务的目的是将来自金融领域的给定术语列表正确分类为外部本体中最相关的上位词（或顶级）概念。对于我们的系统提交，我们评估了两种方法：在自定义语料库上预训练的句子-RoBERTa（SRoBERTa）嵌入模型，以及基于第一种方法的双单词-句子嵌入模型，该模型通过使用FastText模型改进所提出的基线词嵌入构造来提高分类性能。我们的系统在这两个指标上都排名第二，平均准确率为0.917，平均排名为1.141。
2021-08-21 cs.CL
Weakly Supervised Explainable Phrasal Reasoning with Neural Fuzzy Logic
University of Alberta（阿尔伯塔大学）；Carnegie Mellon University（卡内基梅隆大学）
自然语言推理的目的是确定两个句子之间的逻辑关系，如蕴涵、矛盾和中性。近年来，深度学习模型已成为NLI的主流方法，但它们缺乏可解释性和可解释性。在这项工作中，我们解决了NLI的弱监督逻辑推理的可解释性，并提出了一个可解释短语推理（EPR）的方法。我们的模型首先检测短语作为语义单位，并将两个句子中的相应短语对齐。然后，该模型预测对齐短语的NLI标签，并通过模糊逻辑公式归纳句子标签。我们的EPR几乎在任何地方都是可微的，因此系统可以端到端地训练。通过这种方式，我们能够以弱监督的方式提供短语逻辑关系的明确解释。我们进一步表明，这样的推理结果有助于文本解释生成。
2023-02-22 cs.AI cs.CL
Using Paraphrases to Study Properties of Contextual Embeddings
University of Michigan（密歇根大学）
我们使用释义作为一个独特的数据源来分析上下文嵌入，特别关注BERT。由于释义自然地编码一致的单词和短语语义，它们为研究嵌入的属性提供了独特的镜头。使用释义数据库的路线，我们研究的释义以及短语表示的话。我们发现，上下文嵌入有效地处理多义词，但在许多情况下，给同义词令人惊讶的不同表示。我们证实了以前的研究结果，BERT是敏感的词序，但发现略有不同的模式比以前的工作在跨BERT的层的语境化的水平。
2022-07-12 cs.CL
Topical Phrase Extraction from Clinical Reports by Incorporating both Local and Global Context
Aston University（阿斯顿大学）
理解单词通常需要同时检查术语的周围环境以及表征整个语料库的全局主题。一些主题模型已经利用了词嵌入来识别局部语境，但是在主题推理过程中，它与全局语境的结合还很弱。本文提出利用潜在语义分析检测出的全局上下文提取与词嵌入信息相一致的主题短语，然后利用Pólya瓮模型进行组合。为了突出这种组合方法的有效性，对该模型进行了评估，分析临床报告，这是一个具有挑战性的场景，其特点是技术术语和有限的词汇统计。实验结果表明，该方法在主题一致性和计算成本方面都优于现有的方法。
2019-11-22 cs.CL
Weakly-Supervised Visual-Textual Grounding with Semantic Prior Refinement
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
针对弱监督视觉-文本定位缺少区域-短语标注的问题，提出融合未训练粗对齐模块与训练优化模块的 SPRM，并在 Flickr30k Entities 和 ReferIt 上取得最优性能。
2023-09-26 cs.AI cs.CL cs.CV
Improving Neural Language Models by Segmenting, Attending, and Predicting the Future
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
常见的语言模型通常根据上下文预测下一个单词。在这项工作中，我们提出了一种方法，通过学习对齐给定的上下文和下面的短语，提高语言建模。该模型不需要任何语言注释的短语分割。相反，我们定义了句法高度和短语分割规则，使模型能够自动归纳短语，识别其特定任务的头部，并以无监督学习的方式生成短语嵌入。我们的方法可以很容易地应用到语言模型与不同的网络架构，因为一个独立的模块用于短语归纳和上下文短语对齐，并在底层的语言建模网络不需要改变。实验表明，我们的模型在不同的数据集上优于几个强基线模型。我们在Wikitext-103数据集上实现了17.4困惑度的最新性能。此外，可视化短语归纳模块的输出表明，我们的模型能够在没有任何注释的情况下学习近似的短语级结构知识。
2019-06-04 cs.CL cs.LG
Learning Dictionaries for Named Entity Recognition using Minimal Supervision
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Columbia University（哥伦比亚大学）
本文描述了一种利用大量未标记数据和少量种子实例自动构造命名实体识别（NER）词典的方法。我们使用典型相关分析（CCA）来获得候选短语的低维嵌入（表示），并使用少量的标记示例对这些短语进行分类。我们的方法在疾病和病毒NER上分别实现了16.5%和11.3%的F-1分数提高。我们还表明，通过添加候选短语嵌入作为序列标记器中的功能，提供了更好的性能相比，使用词嵌入。
2015-04-24 cs.CL stat.ML
Simple Unsupervised Keyphrase Extraction using Sentence Embeddings
Swisscom AG（瑞士电信公司）；EPFL（洛桑联邦理工学院）
关键词提取是自动选择一个最能描述给定自由文本文档的短语的小集合的任务。有监督的关键短语提取需要大量的标记的训练数据，并且在训练数据的域之外的推广非常差。同时，无监督系统的准确性较差，并且通常不能很好地泛化，因为它们需要输入文档属于也作为输入给出的更大的语料库。为了解决这些缺点，在本文中，我们使用EmbedRank来解决从单个文档中提取关键词的问题：EmbedRank是一种新型的无监督方法，它利用了句子嵌入。EmbedRank在标准数据集上比基于图的最新系统获得了更高的F-scores，并且适合实时处理大量Web数据。使用EmbedRank，我们还通过为新短语引入基于嵌入的最大边际相关性（MMR）来显式增加所选关键短语的覆盖率和多样性。一项包含超过200个投票的用户研究表明，尽管减少短语的语义重叠不会导致F分数的增加，但我们的高多样性选择是人类的首选。
2018-09-05 cs.CL
Enhancing Phrase Representation by Information Bottleneck Guided Text Diffusion Process for Keyphrase Extraction
OPPO Research Institute（OPPO研究院）
针对关键短语抽取任务中现有方法无法有效利用关键短语信息的问题，提出Diff-KPE方法，利用变分信息瓶颈引导文本扩散过程生成增强的关键短语表示并结合排序网络进行候选短语排序，在多个数据集上优于现有方法。
2024-03-20 cs.CL
Leveraging Aspect Phrase Embeddings for Cross-Domain Review Rating Prediction
University of Warwick（华威大学）
在线评论平台是用户通过表达他们对产品或服务的意见来发布评论的流行方式，对于其他用户和公司来说，它们对于了解客户的整体意见很有价值。这些评论往往伴随着评级，其中星级评级已成为用户以定量方式给出反馈的最常见方法，通常为1-5星的likert量表。在Facebook或Twitter等其他社交媒体平台中，自动评论评级预测系统可以用于确定用户对产品或服务的评级。评论评级预测的现有工作集中在特定领域，如餐馆或酒店。然而，这忽略了这样一个事实，即一些不太经常评级的评论领域，如牙医，缺乏足够的数据来建立可靠的预测模型。在本文中，我们对12个数据集进行了实验，这些数据集涉及12个不同流行程度的评论领域，以评估不同领域的预测性能。我们引入了一个模型，利用方面短语嵌入从评论中提取，这使得域内和跨域的评论评级预测系统的发展。我们的实验表明，我们的两个评论评级预测系统都优于所有其他基线。跨域评论评级预测系统对于最不受欢迎的评论域特别重要，其中利用来自其他域的训练数据导致性能的显著改进。相反，域内评论评级预测系统更适合于流行的评论领域，只要从关于目标领域的训练数据构建的模型在该数据丰富时更适合。
2018-11-14 cs.CL
New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia（西波希米亚大学）；NTIS—New Technologies for the Information Society（NTIS—新信息技术学会）
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了，但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为，捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务，检查语法，形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验，并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Sulzer GmbH（苏尔寿有限公司）
一些NLP任务可以通过提供具有自然语言的“任务描述”的预训练语言模型（例如，Radford等人，2019年）。虽然这种方法的表现不如其监督对应，但我们在这项工作中表明，这两个想法可以结合起来：我们引入了模式开发训练（PET），这是一种半监督训练过程，将输入示例重新表述为完形填空风格的短语，以帮助语言模型理解给定的任务。然后，这些短语被用来为大量未标记的示例分配软标签。最后，对所得训练集执行标准监督训练。对于几个任务和语言，PET在低资源环境中的表现远远优于监督训练和强半监督方法。
2021-01-25 cs.CL
Neural embeddings for metaphor detection in a corpus of Greek texts
National and Kapodistrian University of Athens（雅典国立与卡波迪斯特里亚大学）
NLP面临的主要挑战之一是隐喻检测，特别是通过自动手段，对于缺乏语言资源和工具的语言来说，这项任务变得更加困难。我们的目的是通过机器学习的计算方法，从希腊语语料库中的真实的无注释短语的字面意义和隐喻意义之间的自动微分。为此目的，分布语义学的理论背景进行了讨论和就业。分布语义学理论根据语言元素的分布特性，提出了对大量语言数据中语言元素所表现出的语义相似性进行量化和分类的概念和方法。根据这一模型，本文所采用的方法考虑到了语言环境，用于计算短语在几何空间中的分布表示，以及与其他短语的分布表示进行比较，这些短语在言语中的功能已经是“已知的”，目的是得出关于它们在特定语言环境中的字面或隐喻功能的结论。这一程序旨在解决希腊语缺乏语言资源的问题，因为迄今为止几乎不可能在“短语”之间进行语义比较，这种比较采取的形式是对它们在几何空间中的分布表示进行算术比较。
2019-02-10 cs.CL
Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI（伦斯勒理工学院）
关键词提取是在文本文档中找到几个有趣的短语的任务，这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是，一个词在文档中可能有不同的表达形式，也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中，我们利用词嵌入作为背景知识来增强基于图的排序模型，以向词间图添加语义信息。我们的方法进行了评估，建立基准数据集和实证结果表明，词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
Fine-tuning Tree-LSTM for phrase-level sentiment classification on a Polish dependency treebank. Submission to PolEval task 2
Institute of Philosophy and Sociology, Polish Academy of Sciences（波兰科学院哲学与社会学研究所）；University of Warsaw（华沙大学）
我们描述了Child-Sum Tree-LSTM深度神经网络（Tai et al，2015）的一个变体，它被微调为使用依赖树和形态丰富的语言，使用波兰语的例子。微调包括应用自定义正则化技术（zoneout，由Krueger等人，2016），并进一步适用于Tree-LSTM）以及使用用子词信息增强的预训练的词嵌入（Bojanowski等人，2016年）。该系统在PyTorch中实现，并作为PolEval竞赛的一部分在短语级情感标签任务上进行评估。
2017-11-03 cs.CL
Sentiment Composition of Words with Opposing Polarities
National Research Council Canada（加拿大国家研究委员会）
在本文中，我们探讨了至少有一个积极的和至少有一个消极的词的短语的情感成分-像“快乐的意外”和“最好的寒假”的短语。我们编制了一个这样的相反极性短语的数据集，并手动注释它们与情感关联的实值分数。使用这个数据集，我们分析了存在于相反极性短语中的语言模式。最后，我们应用了几种无监督和有监督的情感合成技术来确定它们在该数据集上的有效性。我们最好的系统，它结合了从短语的成分，他们的词性，他们的情感关联分数，和他们的嵌入向量的信息，获得了超过80%的准确性对相反的极性短语。
2018-05-11 cs.CL
Euphemistic Phrase Detection by Masked Language Model
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
众所周知，边缘团体和组织使用委婉语（听起来普通、看起来无辜、具有秘密含义的词语）来隐藏他们正在讨论的内容。例如，毒品贩子经常用“锅”来表示大麻，用“鳄梨”来表示海洛因。从社交媒体内容审核的角度来看，尽管NLP的最新进展已经能够自动检测这种单字委婉语，但现有的工作还不能自动检测多词委婉语，例如“蓝色梦想”（大麻）和“黑色焦油”（海洛因）。我们的论文处理的问题，委婉语短语检测，而无需人工努力的第一次，据我们所知。我们首先在原始文本语料库上执行短语挖掘（例如，社交媒体帖子）来提取高质量的短语。然后，我们利用词嵌入相似性来选择一组委婉短语候选。最后，我们用一个屏蔽的语言模型-- SpanBERT对这些候选者进行排序。与强基线相比，我们报告使用我们的算法检测委婉短语的检测准确率高出20-50%。
2021-09-10 cs.CL
Supervised Grammar Induction Using Training Data with Limited Constituent Information
基于语料库的语法归纳通常依赖于手工解析的训练数据来学习语言的结构。不幸的是，构建大型注释语料库的成本非常昂贵。针对训练数据中标签较少的情况，改进了归纳策略。我们发现，信息量最大的语言成分是在解析树中的较高节点，通常表示复杂的名词短语和重复子句。他们只占所有选民的20%。为了从稀疏标记的训练数据（例如，只有更高级别的成分标签），我们提出了一个适应策略，它产生的语法，解析几乎以及语法从完全标记语料库诱导。我们的研究结果表明，部分解析器，以取代人类注释，它必须能够自动提取更高级别的成分，而不是基础名词短语。
1999-05-02 cs.CL
Sentence Embeddings using Supervised Contrastive Learning
Princeton University（普林斯顿大学）
句子嵌入将句子编码在固定的密集向量中，并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习（如Quick-Thoughts）和监督学习（如Infersent）。随着预训练的NLP模型的成功，最近的研究表明，在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入，在各种评估基准上优于以前的句子嵌入方法。在本文中，我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说，我们的方法在SNLI数据上微调预训练的BERT，同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比，我们的监督对比方法在语义文本相似性（STS）基准测试中平均提高了2.8%，在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
Vector Embedding of Wikipedia Concepts and Entities
Dalhousie University（达尔豪斯大学）
将深度学习用于不同的机器学习任务，例如图像分类和词嵌入，最近受到了很多关注。与其他方法相比，其在特定自然语言处理（NLP）任务中报告的吸引人的性能是其受欢迎的原因。词嵌入是将词或短语映射到低维数值向量的任务。在本文中，我们使用深度学习来嵌入维基百科的概念和实体。维基百科的英文版包含超过500万页，这表明它有能力涵盖许多英语实体，短语和概念。维基百科的每一页都被视为一个概念。有些概念对应于实体，如人名、组织或地点。与词嵌入相反，维基百科概念嵌入并不模糊，因此对于表面形式相似但提及不同的概念有不同的向量。我们提出了几种方法，并评估其性能的基础上概念类比和概念相似性任务。结果表明，所提出的方法具有相当的性能，在某些情况下，甚至高于国家的最先进的方法。
2017-02-12 cs.CL
UCPhrase: Unsupervised Context-aware Quality Phrase Tagging
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California San Diego（加州大学圣地亚哥分校）
从上下文中识别和理解高质量短语是文本挖掘的一项基本任务。这项任务中最具挑战性的部分可以说是不常见的，新兴的和特定领域的短语。这些短语的不频繁性质显著损害了依赖于输入语料库中足够的短语出现的短语挖掘方法的性能。上下文感知的标记模型，虽然不受频率的限制，但在很大程度上依赖于领域专家的大规模高级黄金标签或手工制作的地名录。在这项工作中，我们提出了UCPhrase，一种新的无监督的上下文感知质量短语标签。具体来说，我们诱导高质量的短语跨度作为银标签，从一致的共同出现的单词序列在每个文件。与基于现有知识库的典型上下文无关远程监督相比，我们的银标签深深扎根于输入域和上下文，从而在保持上下文完整性和捕获新兴的KB短语方面具有独特的优势。训练基于银标签的传统神经标记器通常面临过度拟合短语表面名称的风险。或者，我们观察到，从基于transformer的神经语言模型生成的上下文注意力地图有效地揭示了单词之间的连接，在表面不可知的方式。因此，我们将这种注意力图与银色标签配对，以训练轻量级跨度预测模型，该模型可以应用于新输入以识别（看不见的）质量短语，而不管它们的表面名称或频率。在各种任务和数据集上进行的彻底实验，包括语料库级短语排名，文档级关键短语提取和文档级短语标记，证明了我们的设计优于最先进的预训练，无监督和远程监督方法。
2021-05-28 cs.CL
Training and Evaluating Multimodal Word Embeddings with Large-scale Web Annotated Images
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Pinterest Inc.（Pinterest公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们专注于训练和评估有效的词嵌入与文本和视觉信息。更具体地说，我们引入了一个大规模的数据集，其中包含3亿个句子，描述了从Pinterest上公开可用的Pins（即用户上传的带有句子描述的图像）中抓取和下载的4000多万张图像。这个数据集比MS COCO大200倍以上，MS COCO是一个标准的大规模图像数据集，带有句子描述。此外，我们构建了一个评估数据集，直接评估词嵌入在查找语义相似或相关的单词和短语方面的有效性。该评价数据集中的词/短语对是从图像搜索系统中数百万用户的点击数据中收集的，因此包含了丰富的语义关系。基于这些数据集，我们提出并比较了几种基于递归神经网络（RNN）的多模态（文本和图像）模型。实验表明，我们的模型的好处，将视觉信息到词嵌入，和权重共享策略是至关重要的学习这样的多模态嵌入。项目页面：http://www.stat.ucla.edu/~junhua.mao/multimodal_embedding.html
2016-11-24 cs.CL cs.CV cs.LG
Deep Learning Embeddings for Discontinuous Linguistic Units
Center for Information and Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
深度学习嵌入已成功用于许多自然语言处理问题。嵌入主要是为单词形式计算的，尽管最近的一些论文已经将其扩展到其他语言单位，如词素和短语。在本文中，我们认为，学习嵌入不连续的语言单位也应该考虑。在对共指消解的实验评估中，我们表明这种嵌入比单词形式的嵌入表现得更好。
2013-12-19 cs.CL
Hyperbolic Relevance Matching for Neural Keyphrase Extraction
Beijing Jiaotong University（北京交通大学）
本文提出双曲匹配模型HyperMatch，将短语和文档嵌入同一双曲空间，用庞加莱距离估计相关性以解决关键词抽取中的信息表示与重要性判别问题，在六个基准上超越现有最优方法。
2023-12-21 cs.CL cs.IR
Supervised Contextual Embeddings for Transfer Learning in Natural Language Processing Tasks
Carnegie Mellon University（卡内基梅隆大学）
预训练的词嵌入是几个自然语言处理（NLP）任务中迁移学习的主要方法。最近的工作集中在使用无监督技术，如语言建模，以获得这些嵌入。相比之下，这项工作的重点是从多个预先训练的监督模型中提取表示，这丰富了任务和领域特定知识的词嵌入。在跨任务、跨领域和跨语言环境中进行的实验表明，这种监督嵌入是有帮助的，特别是在低资源环境中，但增益的程度取决于任务和领域的性质。我们公开我们的代码。
2019-06-28 cs.CL cs.LG
