Enriching Word Vectors with Subword Information
Facebook AI Research(Facebook人工智能研究院)
在大型未标记语料库上训练的连续单词表示对于许多自然语言处理任务都很有用。学习这种表示的流行模型通过为每个单词分配不同的向量来忽略单词的形态。这是一个限制,特别是对于词汇量大和有许多罕见单词的语言。在本文中,我们提出了一种新的方法的基础上skipgram模型,其中每个字表示为一袋字符$n$ -gram。矢量表示与每个字符$n$ -语法相关联;单词被表示为这些表示的和。我们的方法是快速的,允许在大型语料库上快速训练模型,并允许我们计算没有出现在训练数据中的单词的单词表示。我们评估我们的词表征九种不同的语言,无论是在词的相似性和类比任务。通过比较最近提出的形态字表示,我们表明,我们的矢量实现这些任务的最先进的性能。
2017-06-19 cs.CL cs.LG
Enriching Complex Networks with Word Embeddings for Detecting Mild Cognitive Impairment from Speech Transcripts
University of São Paulo(圣保罗大学)
轻度认知障碍(MCI)是一种难以诊断的精神障碍。主要来自解析器的语言特征已被用于检测MCI,但这不适合大规模评估。MCI不流利产生不符合语法的讲话,需要手动或高精度自动校正的成绩单。在本文中,我们将成绩单建模为复杂网络,并使用词嵌入(CNE)来丰富它们,以更好地表示神经心理学评估中产生的短文本。网络测量与众所周知的分类器一起应用,以在二进制分类任务中自动识别转录本中的MCI。传统的方法使用袋的词(BoW)和三个数据集的语言特征的性能进行了比较:DementiaBank在英语中,灰姑娘和亚利桑那州电池在葡萄牙语。总体而言,CNE提供了更高的准确性比只使用复杂的网络,而支持向量机是优于其他分类器。CNE为DementiaBank和Cinderella提供了最高的准确性,但BoW对Arizona-Battery数据集更有效,可能是由于其简短的叙述。如果对Cinderella数据集进行手动修改,则使用语言特征的方法具有更高的准确性。总之,结果表明,嵌入丰富的复杂网络在大规模评估中检测MCI是有希望的
2017-04-26 cs.CL
Enriching Medcial Terminology Knowledge Bases via Pre-trained Language Model and Graph Convolutional Network
East China University of Science and Technology(华东理工大学);Shanghai Hospital Development Center(上海医院发展中心)
丰富现有的医学术语知识库(KBs)是临床研究的一项重要而永无止境的工作,因为新的术语别名可能会不断增加,标准术语可能会重新命名。在本文中,我们提出了一种新的自动术语丰富的方法来补充一组术语知识库。具体来说,首先将术语和实体字符输入到预先训练好的语言模型中,以获得语义嵌入。该方法首先利用预先训练好的模型对术语和实体表示进行初始化,然后通过图卷积网络对术语和实体表示进行结构化嵌入。然后,结合语义嵌入和结构嵌入来衡量术语和实体之间的相关性。最后,根据术语和知识库中所有实体之间的相关性顺序实现最佳对齐。在上海市医院发展中心38家三甲医院的临床指标术语库上的实验结果表明,该方法能有效地丰富临床指标术语库。
2019-09-02 cs.CL
Enriching Frame Representations with Distributionally Induced Senses
Web Science Group, School of Business Informatics
我们引入了一个新的词汇资源,丰富了Framester知识图谱,它连接Framnet,WordNet,VerbNet和其他资源,从文本语料库的语义特征。这些特征是从分布诱导的意义清单中提取的,随后与手动构建的帧表示相关联,以提高上下文中的帧消歧性能。由于Framester是一个基于框架的知识图谱,它支持全面的OWL查询和推理,我们的资源为开发新颖的,更深层次的语义感知应用程序铺平了道路,这些应用程序可以从文本知识和事件和参与者的复杂符号表示的组合中受益。与资源一起,我们还提供了我们开发的用于单词框架消歧(WFD)任务评估的软件。
2018-03-15 cs.CL
Parsimonious Morpheme Segmentation with an Application to Enriching Word Embeddings
The University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Amazon AI(亚马逊人工智能)
传统上,许多文本挖掘任务将单个单词标记视为最细的有意义的语义粒度。然而,在许多语言和专业语料库中,单词是由语义上有意义的子词结构连接而成的。词级分析不能利用存在于这样的子词结构中的语义信息。对于词嵌入技术,这不仅导致长尾文本语料库中的不频繁词的嵌入较差,而且还导致处理词汇外词的能力较弱。在本文中,我们提出了无监督的语素分割的MorphMine。MorphMine应用简约性标准来分层地将单词分割成层次结构的每个级别上的最少数量的语素。这导致在每个分割层次上共享的语素更长。实验表明,MorphMine可以将各种语言中的单词分割成人类验证的词素。此外,我们的实验表明,利用MorphMine词素丰富词嵌入一贯提高嵌入质量的各种嵌入评估和下游的语言建模任务。
2019-11-13 cs.CL cs.LG stat.ML
Enriching Unsupervised User Embedding via Medical Concepts
University of Memphis(孟菲斯大学);Adobe Research(奥多比研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
电子健康记录(EHR)中的临床记录提供了丰富的患者记录信息,以推断疾病诊断的表型和研究队列选择的患者特征。无监督用户嵌入的目的是在没有人类监督的情况下将患者编码为固定长度的向量。从临床笔记中提取的医学概念包含患者与其临床类别之间的丰富联系。然而,现有的从临床笔记中嵌入用户的无监督方法没有明确地结合医学概念。在这项研究中,我们提出了一个概念感知的无监督用户嵌入,共同利用文本文档和医学概念,从两个临床语料库,MIMIC-III和糖尿病。我们评估用户嵌入的外在和内在的任务,包括表型分类,在医院死亡率预测,病人检索,和病人的相关性。在两个临床语料库上的实验表明,我们的方法超过了无监督的基线,并纳入医疗概念可以显着提高基线性能。
2022-03-29 cs.CL cs.LG
Edge: Enriching Knowledge Graph Embeddings with External Text
University of Georgia(佐治亚大学);Adobe Research(Adobe研究院)
知识图谱具有稀疏性,这降低了由各种方法生成的表示的质量。虽然在整个网络和许多现有的知识库中有大量的文本信息,但在这些不同的数据源中对齐信息仍然是文献中的一个挑战。以前的工作已经部分解决了这个问题,丰富的知识图谱实体的基础上“硬”的词出现在知识图谱和外部文本的实体,而我们实现“软”的增强,提出了一个知识图谱丰富和嵌入框架命名边缘。给定一个原始的知识图谱,我们首先生成一个丰富的,但噪声增强图使用外部文本在语义和结构层次。为了提取相关知识并抑制引入的噪声,我们在原始图和增强图之间的共享嵌入空间中设计了图对齐项。为了增强在增强图上的嵌入学习,我们进一步基于负采样正则化目标实体的局部关系。在四个基准数据集上的实验结果表明,Edge算法在链接预测和节点分类中具有良好的鲁棒性和有效性.
2021-04-11 cs.CL cs.LG
Enriching the Transformer with Linguistic Factors for Low-Resource Machine Translation
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
引入因子,也就是说,诸如涉及源标记的语言信息的词特征,已知在某些设置中(通常在递归架构中)改进神经机器翻译系统的结果。这项研究提出了增强当前最先进的神经机器翻译架构,Transformer,以便它允许引入外部知识。特别是,我们提出的修改,因子化的Transformer,使用语言因素,插入额外的知识到机器翻译系统。除了使用不同类型的功能,我们研究了不同的建筑配置的效果。具体来说,我们分析了在嵌入级别或在编码器级别结合单词和特征的性能,并尝试了两种不同的组合策略。使用最好的配置,我们在IWITOS德语到英语的任务中显示出比基线Transformer提高了0.8 BLEU。此外,我们还尝试了更具挑战性的FLoRes英语到尼泊尔语基准,其中包括极低资源和非常遥远的语言,并获得了1.2 BLEU的改进。
2020-12-24 cs.CL
Enriching Consumer Health Vocabulary Using Enhanced GloVe Word Embedding
University of Arkansas(阿肯色大学)
开放获取和协作消费者健康词汇(OAC CHV,或简称CHV)是用简单英语编写的医学术语集合。它提供了一个简单,容易和明确的术语列表,外行更喜欢使用,而不是一个等效的专业医学术语。美国国家医学图书馆(NLM)已将CHV术语集成并映射到其统一医学语言系统(UMLS)。这些CHV术语映射到UMLS上的56000个专业概念。我们发现,大约48%的这些门外汉的术语仍然是行话,并与UMLS上的专业术语相匹配。在本文中,我们提出了一种增强的词嵌入技术,从消费者生成的文本生成新的CHV条款。我们从一个医疗保健社交媒体下载了我们的语料库,并评估了我们的新方法,该方法基于对词嵌入的迭代反馈,使用从现有的CHV术语构建的基础事实。我们的反馈算法优于未修改的GLoVe和新的CHV条款已被检测到。
2020-04-13 cs.CL cs.IR cs.LG
Enriching BERT with Knowledge Graph Embeddings for Document Classification
DFKI GmbH(德国人工智能研究中心);University of Konstanz(康斯坦茨大学)
在本文中,我们专注于使用简短的描述性文本(封面简介)和附加元数据的图书分类。在深度神经语言模型BERT的基础上,我们演示了如何将文本表示与元数据和知识图谱嵌入相结合,这些嵌入对作者信息进行编码。与标准的BERT方法相比,我们取得了更好的分类任务的结果。对于使用8个标签的更粗粒度的分类,我们获得了87.20的F1分数,而使用343个标签的详细分类产生了64.70的F1分数。我们公开了实验的源代码和训练模型
2019-09-18 cs.CL cs.IR cs.LG
A Framework for Enriching Lexical Semantic Resources with Distributional Semantics
Universität Hamburg(汉堡大学);Universität Mannheim(曼海姆大学)
我们提出了一种方法,结合分布式语义表示的文本语料库与人工构建的词汇语义网络。虽然这两种语义资源都具有较高的词汇覆盖率,但我们的对齐资源将分布模型的上下文信息的域特异性和可用性与手工制作的词汇网络的简洁性和高质量相结合。我们从词汇术语的归纳意义的分布表征开始,伴随着相关词汇所提供的丰富语境信息。然后,我们自动消除歧义,这样的表示,以获得一个成熟的原型概念化,即诱导词义的类型图。在最后一步中,将该原型概念化与词汇本体对齐,从而产生混合对齐资源。此外,未映射的诱导意义与语义类型相关联,以便将它们连接到核心资源。对我们的方法的不同阶段的地面实况判断,以及基于知识的词义消歧基准的外部评估手动评估都表明新的混合资源的高质量。此外,我们还展示了从文本中自下而上的分布信息丰富自上而下的词汇知识资源,以解决高端知识获取任务,如清理上位词图和从头开始学习分类法的好处。
2017-12-23 cs.CL
Confusion2vec 2.0: Enriching Ambiguous Spoken Language Representations with Subwords
University of Southern California(南加州大学)
词向量表示使机器能够对人类语言进行编码以用于口语语言理解和处理。Confusion 2 vec是一种词向量表示方法,它从人类的语音产生和感知出发,除了语义和句法信息外,还对人类口语中存在的歧义进行编码。Confusion 2 vec通过考虑固有的人类语言歧义来提供鲁棒的口语表示。在本文中,我们提出了一种新的词向量空间估计的无监督学习的格子输出的自动语音识别(ASR)系统。我们在confusion 2 vec向量空间中通过其组成子字字符n-gram对每个字进行编码。我们表明,子字编码有助于更好地代表人类口语中的声学感知模糊性,通过网格结构的ASR输出建模的信息。使用语义,句法和声学类比和单词相似性任务的有用性进行评估,建议的Confusion 2 vec表示。我们还展示了子词建模的好处,声学歧义表示的任务,口语意图检测。当对错误的ASR输出进行评估时,结果显着优于现有的词向量表示。我们证明了Confusion 2 vec子词建模消除了对ASR成绩单上的自然语言理解模型进行再训练/调整的需要。
2021-02-19 cs.CL cs.SD eess.AS
ESIE-BERT: Enriching Sub-words Information Explicitly with BERT for Joint Intent Classification and SlotFilling
Southwestern University of Finance and Economics(西南财经大学);Innovation Research Institute of Digital Economy and Interdisciplinary Sciences(数字经济与交叉科学创新研究院);School of Business Administration, Faculty of Business Administration(工商管理学院(工商管理学部))
自然语言理解(NLU)有两个核心任务:意图分类和槽填充。预训练语言模型的成功使这两项任务取得了重大突破。其中一个有前途的解决方案称为BERT,可以联合优化这两个任务。我们注意到,基于BERT的模型通过字段算法将每个复杂的令牌转换为多个子令牌,这会产生令牌和标签之间的长度不匹配。这导致基于BERT的模型在标签预测方面做得不好,限制了模型性能的提高。许多现有的模型可以兼容这个问题,但一些隐藏的语义信息被丢弃在微调过程中。我们解决这个问题,通过引入一种新的联合方法上的BERT显式模型的多个子令牌功能后的单词标记化,从而有助于这两个任务。我们的方法可以很好地提取复杂的令牌的子词注意力适配器(SAA),它保留了整体的话语信息的上下文特征。此外,我们提出了一个意图注意适配器(IAA),以获得完整的句子功能,以帮助用户预测意图。实验结果表明,我们提出的模型是显着改善两个公共基准数据集。特别是,在航空公司旅行信息系统(ATIS)数据集上,空位填充F1分数从96.1提高到98.2(绝对值2.1%)。
2023-02-02 cs.AI cs.CL
RichSpace: Enriching Text-to-Video Prompt Space via Text Embedding Interpolation
Zhejiang University(浙江大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of New South Wales(新南威尔士大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tsinghua University(清华大学);Simons Institute for the Theory of Computing, University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所)
针对文本到视频生成模型在复杂特征视频上的局限,提出通过嵌入空间插值选择最优文本嵌入的新方法,并利用垂足嵌入和余弦相似度识别最优插值,有效提升了生成性能。
2025-02-02 cs.AI cs.CL cs.CV
Learning Word Sense Embeddings from Word Sense Definitions
Peking University(北京大学);Collaborative Innovation Center for Language Ability(语言能力协同创新中心)
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的,研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中,我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明,该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University(北京大学)
词嵌入的目的是用低维向量表示词的语义。学习词嵌入(word 2 vec和GloVe)的最新方法仅使用词共现信息。学习的嵌入是实数向量,这对人类来说是模糊的。在本文中,我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明,该模型学习的图像向量和词嵌入具有高度的相关性,表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
词嵌入已经被证明对NLP任务有很大的好处。然而,在矢量表示中存在改进的空间,因为当前的词嵌入通常包含不必要的信息,即,噪声我们提出了两个新的模型,以改善词嵌入的无监督学习,以产生字去噪嵌入。基于深度前馈神经网络滤波器,通过增强原始词嵌入中的显著信息和减弱噪声,得到词去噪嵌入。基准测试任务的结果表明,过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
Chinese Embedding via Stroke and Glyph Information: A Dual-channel View
University of Science and Technology of China(中国科学技术大学)
近年来的研究表明,形态学有助于丰富词嵌入。本文认为,隐藏在汉字中的形态信息不仅在笔画顺序上得到反映,而且在空间上也反映在汉字字形中,从而丰富了中文词嵌入。在此基础上,提出了一种新的双通道词嵌入(DWE)模型,实现了字符序列信息和空间信息的联合学习。通过对词相似度和词类比任务的评价,表明了该模型在汉语词法建模方面的合理性和优越性。
2019-06-03 cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);LRI, Univ. Paris-Sud, CNRS(巴黎第十一大学计算机研究实验室,法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中,我们探讨了语境词嵌入的特点,并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案,考虑上下文的多意义词嵌入的噪声(去除),并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入(替换)。实验结果表明,本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐,而不会影响双语词典归纳任务的宏观性能。对于无监督对齐,我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool(利物浦大学);Department of Computer Science(计算机科学系);University of Liverpool, UK(英国利物浦大学)
从神经语言模型(NLM)(如BERT)生成的上下文化词嵌入表示具有向量的单词,该向量考虑目标单词的语义及其上下文。另一方面,静态词嵌入(如GloVe)通过相对低维、内存和计算效率高的向量表示词,但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义(CDES),一种方法,提取意义相关的信息,从上下文的嵌入,并将其注入到静态嵌入,以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明,CDES可以准确地学习特定于词义的静态嵌入,其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures;University of Edinburgh(爱丁堡大学)
我们描述了一个可视化工具,可以用来查看随着时间的推移,在单词的含义的变化。该工具利用现有的(静态)单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing(信息与语言处理中心);University of Munich(慕尼黑大学)
我们提出了\textit{AutoExtend},一个系统来学习嵌入的同义词和词素。它是灵活的,因为它可以采取任何词嵌入作为输入,不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源,但AutoExtend可以很容易地应用于其他资源,如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University(普渡大学)
静态词嵌入编码词关联,广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获,嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词,基于他们的词嵌入功能,揭示潜在的属性词的关联形成的嵌入空间,而不引入任何确认偏见。我们的研究结果表明,在嵌入训练(CBOW与skip-gram)的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外,经验表明,即使在相同的语料库上训练时,在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性,从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Task-Specific Dependency-based Word Embedding Methods
University of Southern California(南加州大学);National University of Singapore(新加坡国立大学)
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法,通用的任务,我们设计的特定任务的词嵌入方法,以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架,并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入(DWE),它选择依存关系树中的关键词和目标词的相邻词作为上下文,构建词-上下文矩阵。第二种方法,名为类增强依赖性为基础的词嵌入(CEDWE),学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估,以证明其有效性。实验结果表明,它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
Emojinize: Enriching Any Text with Emoji Translations
EPFL(洛桑联邦理工学院);TUHH(汉堡工业大学)
本研究提出Emojinize方法,借助大语言模型实现文本到表情符号的自动翻译,可上下文消歧、组合表达复杂概念,实验显示其提升词汇可猜测性效果优于人工,为多领域下游应用提供可能。
2024-03-07 cs.CL cs.HC
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology(奈良先端科学技术大学);Tokyo Metropolitan University(东京都立大学)
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性,特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验,使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明,我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Dynamic Contextualized Word Embeddings
University of Oxford(牛津大学);LMU Munich(慕尼黑大学)
静态的词嵌入用一个向量来表示词,不能捕捉到词在不同语言和语言外语境中的意义变化。在上下文化和动态词嵌入的基础上,我们引入了动态上下文化的词嵌入,它代表了语言和语言外语境的函数。基于预训练的语言模型(PLM),动态上下文化的词嵌入联合建模时间和社会空间,这使得它们对于一系列涉及语义变化的NLP任务具有吸引力。通过对四个英文数据集的定性和定量分析,我们突出了潜在的应用场景。
2021-06-08 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.(Yik Yak公司);Georgia Institute of Technology(佐治亚理工学院)
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计,这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入,结合形态信息,捕捉共享的子词特征。与以前的工作,直接从语素构建词嵌入,我们结合形态和分布信息在一个统一的概率框架,其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布,这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进,也在下游的词性标注任务。
2016-09-24 cs.CL
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business(雅典经济与商业大学)
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中,我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具,用于测试希腊词嵌入,通过提供“类比”,“相似度得分”和“最相似的话”的功能。通过我们的探索者,人们可以与希腊词向量互动。
2018-10-26 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰瑞尔公司)
在越南语依存句法分析中,已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器,其取得了最先进的结果。在本文中,我们提出了一种新方法,该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank(VnDT)。
2019-10-30 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Sciences(数学与计算机科学学院);Federal University of São Carlos(圣卡洛斯联邦大学)
已经发现词嵌入以有效的方式为词提供有意义的表示;因此,它们在自然语言处理系统中变得普遍。在本文中,我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型,包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价,在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明,词类比是不适合词嵌入评价,任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
A Joint Model for Word Embedding and Word Morphology
University of Cambridge(剑桥大学)
本文提出了一种联合模型,用于对单词进行无监督的形态分析,并学习从词素到词嵌入的字符级组合函数。我们的模型将单个单词分成几个部分,并根据其预测上下文单词的能力对每个部分进行加权。我们的形态分析是专门的形态分析仪在词素边界恢复的任务,也比基于单词的嵌入模型在句法类比回答的任务表现更好。最后,我们表明,将形态显式地纳入字符级模型,帮助他们产生嵌入看不见的话,更好地与人类的判断。
2016-06-08 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
通用词嵌入是在大规模通用语料库上训练的;领域特定(DS)词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入,称为域自适应(DA)词嵌入,通过使用典型相关分析(CCA)或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明,DA嵌入大大优于通用和DS嵌入时,作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University(石溪大学)
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗?词嵌入实验的可重复性如何?所有的词嵌入技术都同样可靠吗?在本文中,我们提出了评估方法,学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下(其中他们受到不同的随机初始化)的相似性。我们的初步结果表明,我们的度量不仅测量了词嵌入方法的内在属性,而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Reconstruction of Word Embeddings from Sub-Word Parameters
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
预训练的词嵌入以增加模型大小为代价提高了神经模型的性能。我们建议从这个资源中受益,而不支付严格的操作在子词汇水平的成本。我们的方法很简单:在任务特定的训练之前,我们首先优化子词参数以使用各种距离度量来重建预训练的词嵌入。我们报告有趣的结果在各种任务:词相似性,词的类比,和词性标注。
2017-07-21 cs.CL
Dictionary-based Debiasing of Pre-trained Word Embeddings
Tokyo Metropolitan University(东京都立大学);University of Liverpool(利物浦大学);Amazon(亚马逊)
在大型语料库上训练的词嵌入显示出高度的不公平歧视性性别、种族、宗教和民族偏见。相比之下,人类编写的词典以简洁、客观和公正的方式描述单词的含义。我们提出了一种使用字典对预训练的词嵌入进行去偏置的方法,而不需要访问原始训练资源或关于所使用的词嵌入算法的任何知识。与以前的工作不同,我们所提出的方法不需要的类型的偏见被预先定义的单词列表的形式,并学习的约束,必须满足无偏词嵌入自动从字典定义的话。具体地,我们学习编码器以生成输入词嵌入的去偏版本,使得它(a)保留预训练的词嵌入的语义,(b)根据字典同意词的无偏定义,以及(c)保持与由预训练的词嵌入空间中的任何偏置基向量所跨越的向量空间正交。标准基准数据集上的实验结果表明,该方法可以准确地去除预训练词嵌入中编码的不公平偏见,同时保留有用的语义。
2021-01-23 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而,词嵌入对于下游NLP任务的有效性受到词汇表外(OOV)词的限制,对于这些词,嵌入不存在。在本文中,我们提出了MIMICK,一种方法来生成OOV词嵌入组成,通过学习一个函数的拼写分布嵌入。与之前的工作不同,MIMICK不需要对原始词嵌入语料库进行重新训练;相反,学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上,MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中,它与有监督的基于字符的模型具有竞争力(和互补性)。
2017-07-21 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick(华威大学);Southeast University(东南大学)
我们提出了一种新的生成模型,以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是,我们假设,全球潜在的主题是共享的文件,一个词是由一个隐藏的语义向量编码其上下文语义含义,其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入,这自然解决了单词多义的问题。实验结果表明,该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外,与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比,该模型还提取了更多的连贯主题。最后,该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成,以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
PSDVec是一个学习词嵌入的Python/Perl工具箱,即将自然语言中的单词映射到连续向量,这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程,我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间,并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理(NLP)任务上,PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
RPD: A Distance Function Between Word Embeddings
University of Washington(华盛顿大学);Nanjing University(南京大学)
众所周知,不同的算法、训练过程和语料库会产生不同的词嵌入。然而,对不同嵌入空间之间的关系知之甚少,即不同的嵌入集合彼此偏离多远。在本文中,我们提出了一种新的度量称为相对成对内积距离(RPD)量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质,我们系统地研究了不同算法的词嵌入之间的关系,并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足,并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
Development of Word Embeddings for Uzbek Language
Copper City Labs(铜城实验室)
在本文中,我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集,使用内部开发的高质量Web抓取语料库在word2vec,GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
Simple and Effective Dimensionality Reduction for Word Embeddings
Microsoft India(微软印度)
词嵌入已经成为若干自然语言处理和信息检索任务的基本构建块。预训练的词嵌入用于几个下游应用程序,以及用于构建句子,段落和文档的表示。最近,人们一直强调通过后处理算法进一步改进预训练的词向量。一个这样的改进领域是词嵌入的降维。通过降维来减小词嵌入的大小可以提高它们在存储器受限设备中的效用,从而有益于若干现实世界的应用。在这项工作中,我们提出了一种新的算法,有效地结合了PCA的降维与最近提出的后处理算法,构建低维的词嵌入。对12个标准词相似度基准的实证评估表明,我们的算法将嵌入维数降低了50%,同时实现了类似或(更经常)更好的性能比高维嵌入。
2017-11-21 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design(新加坡科技设计大学)
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上,几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标,训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词,建模的上下文嵌入率矩阵的泰勒级数。我们表明,不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较,并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标,提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础,同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America(美国 NEC 实验室);Princeton(普林斯顿大学)
现代自然语言理解模型依赖于预训练的子词嵌入,但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明,严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后,我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱,但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago(芝加哥丰田技术研究院);IBM Research AI(IBM研究院人工智能部门)
用于端到端自动语音识别的直接声学到字(A2 W)系统比子字系统更易于训练,并且解码更有效。然而,A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点,我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵,并使用外部训练的词嵌入集来提高该矩阵的质量。特别是,我们介绍了两个想法:(1)在训练时间之间的外部嵌入和识别器的权重,以及(2)在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的,也就是说,它是与声学嵌入联合学习的,以便对词的声学语音内容进行编码;并且它是参数化的,因此它可以嵌入任何任意(可能超出词汇表)字符序列。我们发现,这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia(西波希米亚大学);NTIS—New Technologies for the Information Society(NTIS—新信息技术学会)
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了,但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为,捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务,检查语法,形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验,并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
One Word Is Not Enough: Simple Prompts Improve Word Embeddings
GodelLabs
通过简单提示提升词嵌入效果,显著提高词相似性相关性,超越传统静态嵌入方法。
2025-12-07 cs.CL
Substitute Based SCODE Word Embeddings in Supervised NLP Tasks
Koç University(科奇大学)
我们分析了一个词嵌入方法在监督任务。它将词映射到一个球体上,使得在相似上下文中共现的词紧密地躺在一起。上下文的相似性是通过可以填充它们的替代物的分布来衡量的。我们比较了词嵌入,包括最近的表示,在命名实体识别(NER),组块,和依存句法分析。我们还研究了多语言依存句法分析的框架。实验结果表明,该方法与其他词嵌入方法相比,取得了相同或更好的效果。它在多语言依存句法分析中取得了最先进的结果。7种语言的词嵌入可供公众使用。
2014-07-25 cs.CL
Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
Mila – Québec AI Institute(魁北克人工智能研究所Mila);McGill University(麦吉尔大学);Bank of Montréal(蒙特利尔银行)
词嵌入被训练来预测词的共现统计,这使得它们具有不同的词汇属性(句法,语义等)。这取决于在训练时定义的上下文的概念。当查询嵌入空间以寻找最相似的向量时,以及当在经过训练以解决下游NLP问题的深度神经网络的输入层使用时,这些属性就会显现出来。元嵌入结合了多组不同训练的词嵌入,并且已经被证明成功地提高了仅使用一组源嵌入的等效模型的内在和外在性能。我们介绍单词棱镜:一种简单有效的元嵌入方法,它可以根据手头的任务学习组合源嵌入。Word prism学习正交变换来线性组合输入源嵌入,这使得它们在推理时非常有效。我们评估字棱镜相比,其他元嵌入方法的六个外在的评价,并观察到字棱镜提供的所有任务的性能改善。
2020-11-05 cs.CL
Task-Oriented Learning of Word Embeddings for Semantic Relation Classification
The University of Tokyo(东京大学);University College London(伦敦大学学院);Toyota Technological Institute(丰田工业大学)
我们提出了一种新的学习方法,词嵌入设计的关系分类。我们的词嵌入是通过在大型未标记语料库上使用词汇关系特定特征预测名词对之间的词来训练的。这使我们能够显式地将特定于关系的信息合并到词嵌入中。然后使用学习的词嵌入来构造用于关系分类模型的特征向量。在一个完善的语义关系分类任务,我们的方法显着优于基线的基础上,以前介绍的词嵌入方法,并比较有利的是以前的国家的最先进的模型,使用语法信息或手动构建的外部资源。
2015-06-22 cs.CL
Using $k$-way Co-occurrences for Learning Word Embeddings
University of Liverpool(利物浦大学);National Institute of Informatics(国立信息学研究所)
两个词之间的共现提供了对这些词的语义的有用见解。因此,关于词嵌入学习的许多现有工作已经使用两个词之间的同现作为用于学习词嵌入的训练信号。然而,在自然语言文本中,多个词在同一上下文中相关和共现是常见的。我们扩展了同现的概念,以涵盖$k(\geq\!\!2)$方式同现之间的一组$k$字。具体来说,我们证明了一个理论关系之间的联合概率的$k(\geq\!\!2)$的话,和$\ell_2$规范的嵌入。接下来,我们提出了一个学习目标的动机,我们的理论结果,利用$k$方式同现学习词嵌入。我们的实验结果表明,推导出的理论关系确实在经验上成立,尽管数据稀疏,对于一些较小的$k$值,$k$方式嵌入执行三倍或更好的比$2$方式嵌入在一系列的任务。
2017-09-05 cs.CL
Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies
Uppsala University(乌普萨拉大学)
跨语言词义消歧(WSD)解决了在给定上下文的情况下消除跨语言歧义词的挑战。预训练的BERT嵌入模型已被证明在提取词的上下文信息方面是有效的,并且已作为特征被并入许多最先进的词义消歧系统中。为了研究如何将句法信息加入到BERT嵌入中,从而产生语义和句法结合的词嵌入,本项目提出了通过产生依赖分析树和将词的相对关系编码到输入嵌入中的级联嵌入。还提出了两种方法来减少级联嵌入的大小。实验结果表明,句法嵌入的高维性对分类任务构成了障碍,需要在未来的研究中进一步解决。
2020-12-09 cs.CL
Relational Word Embeddings
Cardiff University(卡迪夫大学)
虽然词嵌入已被证明可以隐式地编码各种形式的属性知识,但它们捕获关系信息的程度要有限得多。在以前的工作中,这个限制已经解决了从外部知识库的关系知识时,学习词嵌入。然而,这种战略可能不是最佳的,因为它们受到现有资源覆盖范围的限制,并将相似性与其他形式的相关性混为一谈。作为一种替代方案,在本文中,我们提出了一个单独的词嵌入,这是旨在补充一个给定的标准词嵌入编码的关系知识。这种关系词嵌入仍然是从共现统计学中学习的,因此即使在没有外部知识库可用时也可以使用。我们的分析表明,关系词向量确实捕获了与标准词嵌入中编码的信息互补的信息。
2019-06-04 cs.CL
Multiplex Word Embeddings for Selectional Preference Acquisition
The Hong Kong University of Science and Technology(香港科技大学);Sinovation Ventures(创新工场);Tencent AI Lab(腾讯人工智能实验室)
传统的词嵌入用固定的向量表示词,这些向量通常基于词之间的共现模式来训练。然而,在这样做的时候,这种表征的能力是有限的,同一个词可能在不同的句法关系下被单独功能化。为了解决这个问题,一个解决方案是将不同单词的关系依赖性合并到它们的嵌入中。因此,本文提出了一种多元词嵌入模型,该模型可以根据词之间的各种关系轻松扩展。因此,每个单词都有一个中心嵌入来表示其整体语义,还有几个关系嵌入来表示其关系依赖性。与现有的模型相比,我们的模型可以有效地区分不同关系的单词,而不会引入不必要的稀疏。此外,为了适应各种关系,我们使用一个小的维度的关系嵌入和我们的模型是能够保持其有效性。选择性偏好获取和词相似度的实验证明了该模型的有效性,进一步的可扩展性研究也证明了我们的嵌入只需要原始嵌入大小的1/20就能达到更好的性能。
2020-01-09 cs.CL