Word Embeddings for Banking Industry
本文构建并评估银行领域专用词嵌入，发现其相较 GloVe、BERT 更能捕捉银行业语义与词语关联，可独立使用或补充通用嵌入。
2023-06-02 cs.AI cs.CL
Lacking the embedding of a word? Look it up into a traditional dictionary
University of Rome Tor Vergata（罗马第二大学）；Guglielmo Marconi University（古列尔莫·马可尼大学）
词嵌入是功能强大的词典，可以轻松捕获语言变体。然而，这些词典未能给意义的罕见的话，这是令人惊讶的是，往往涵盖了传统的词典。在本文中，我们提出使用传统词典中检索到的定义来产生稀有词的词嵌入。为此，我们介绍了两种方法：定义神经网络（DefiNNet）和定义BERT（DefBERT）。在我们的实验中，DefiNNet和DefBERT的表现明显优于最先进的方法以及为生成未知词嵌入而设计的基线方法。事实上，DefiNNet的性能明显优于FastText，后者实现了一种基于n-gram的相同任务的方法，而DefBERT的性能明显优于OOV单词的BERT方法。然后，传统词典中的定义对于为稀有词构建词嵌入是有用的。
2021-09-24 cs.AI cs.CL
CogniFNN: A Fuzzy Neural Network Framework for Cognitive Word Embedding Evaluation
词嵌入能够反映语义表征，嵌入质量可以用人类自然阅读相关认知数据源进行综合评价。在本文中，我们提出了CogniFNN框架，这是第一次尝试使用模糊神经网络来提取非线性和非平稳特性的英语词嵌入对相应的认知数据集的评价。在我们的实验中，我们使用了15个人类认知数据集在三种模式：EEG，fMRI和眼动跟踪，并选择均方误差和多假设检验作为指标来评估我们提出的CogniFNN框架。与最近的先驱框架相比，我们提出的CogniFNN对上下文无关（GloVe）和上下文相关（BERT）词嵌入的预测误差较小，并且对随机生成的词嵌入实现了更高的显著性比率。我们的研究结果表明，CogniFNN框架可以提供一个更准确和全面的认知词嵌入的评估。这对于进一步的外部自然语言处理任务的词嵌入评价具有潜在的意义。
2021-07-29 cs.AI cs.CL
Spanish Biomedical and Clinical Language Embeddings
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
我们使用FastText计算单词和子词嵌入。对于子词嵌入我们选择了字节对编码（BPE）算法来表示子字。我们评估了生物医学词嵌入，获得了比以前的版本更好的结果，这表明随着数据的增加，我们获得了更好的表示。
2021-02-25 cs.AI cs.CL
Analysis of Italian Word Embeddings
University of Warwick（华威大学）
在这项工作中，我们分析了两个最常用的词嵌入算法，跳过语法和连续袋的话，意大利语的性能。这些算法有许多超参数，必须仔细调整，以获得准确的词表示在向量空间。我们提供准确的分析和评估，显示哪些是特定任务的最佳参数配置。
2017-11-30 cs.AI cs.CL
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
词嵌入是自然语言处理中最基本的技术之一。现有的词嵌入是高维的，并且消耗大量的计算资源。在这项研究中，我们提出了WordTour，无监督的一维词嵌入。为了实现这一具有挑战性的目标，我们提出了一个分解的必要条件的词嵌入分为两部分，完整性和可靠性，并侧重于可靠性在本文中。由于单维性，WordTour非常高效，并提供了一种最小的方法来处理词嵌入。我们通过用户学习和文档分类实验证实了所提出的方法的有效性。
2022-05-04 cs.AI cs.CL cs.LG
PoD: Positional Dependency-Based Word Embedding for Aspect Term Extraction
Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；UC Berkeley（加州大学伯克利分校）；Peking University（北京大学）
基于依存上下文的词嵌入联合学习词和依存上下文的表示，并已被证明是有效的方面的术语提取。在本文中，我们设计了基于位置依赖的词嵌入（PoD），它考虑了依赖上下文和位置上下文的方面术语提取。具体地，位置上下文经由相对位置编码来建模。此外，我们通过整合更多的词汇信息（例如，POS标签）。在SemEval 2014/2015/2016数据集上的实验表明，该方法在体词提取方面优于其他嵌入方法。
2020-12-18 cs.CL
Exploring the Suitability of Semantic Spaces as Word Association Models for the Extraction of Semantic Relationships
University of Westminster（威斯敏斯特大学）；Oakland University（奥克兰大学）
随着自然语言处理（Natural Language Processing，NLP）技术的不断发展，语义关系的提取成为近年来的研究热点。这项工作的主要动机是这样一个事实，即建立知识图谱（KG）和基地（KB），作为智能应用程序的一个关键组成部分，是一个永无止境的挑战，因为新的知识需要收获，而旧的知识需要修改。目前，从文本中提取关系抽取的方法主要是神经模型，这些神经模型在大型语料库的机器学习中进行某种远程（弱）监督，无论是否咨询外部知识源。在本文中，我们实证研究和探索使用经典语义空间和模型的新想法的潜力，例如，词嵌入，用于提取词关联，结合关系抽取方法。我们的目标是使用这些词关联模型，以加强目前的关系抽取的方法。我们认为，这是第一次尝试这种研究的结果应该在一定程度上阐明这些词的关联模型可以使用，以及最有前途的类型的关系，以考虑提取。
2020-04-29 cs.AI cs.CL cs.IR
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Blind signal decomposition of various word embeddings based on join and individual variance explained
Emory University（埃默里大学）
近年来，自然语言处理（NLP）已成为人类生活中最重要的领域之一，并有着广泛的应用。作为最基本的任务，词嵌入领域还需要更多的关注和研究。目前，关于词嵌入的现有工作主要集中在提出新的嵌入算法和降维技术上训练良好的词嵌入。在本文中，我们提出使用一种新的联合信号分离方法- JIVE联合分解各种训练词嵌入到联合和个人的组成部分。通过这个分解框架，我们可以很容易地研究不同词嵌入之间的相似性和差异性。我们对在不同语料库和不同维度上训练的word 2 vec、FastText和GLoVE进行了广泛的实证研究。我们比较了基于Twitter和斯坦福情感树库的情感分析的不同分解组件的性能。我们发现，通过将不同的词嵌入映射到联合组件中，可以大大提高性能较低的原始词嵌入的情感性能。此外，我们发现，通过将不同的组件连接在一起，同一个模型可以实现更好的性能。这些发现为词嵌入的研究提供了新的思路，也为融合生成词嵌入提供了新的思路。
2020-11-30 cs.AI cs.CL stat.ML
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University（北京大学）
词嵌入的目的是用低维向量表示词的语义。学习词嵌入（word 2 vec和GloVe）的最新方法仅使用词共现信息。学习的嵌入是实数向量，这对人类来说是模糊的。在本文中，我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明，该模型学习的图像向量和词嵌入具有高度的相关性，表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Local Word Vectors Guiding Keyphrase Extraction
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
关键词自动提取是文本信息处理的一项基本任务，它涉及从文档中提取概括其内容的代表性短语。这项工作提出了一种新的无监督的关键词提取方法，其主要创新是使用本地词嵌入（特别是GloVe向量），即，嵌入从考虑中的单个文档中训练出来。我们认为，这样的本地表示的单词和关键短语能够准确地捕捉他们的语义的上下文中的文件，他们的一部分，因此可以帮助提高关键短语提取质量。实证结果提供的证据表明，与在非常大的第三语料库或由同一科学领域的多个文档组成的更大语料库上训练的嵌入和其他最先进的无监督关键短语提取方法相比，本地表示确实会导致更好的关键短语提取结果。
2018-04-13 cs.CL
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
词嵌入已经被证明对NLP任务有很大的好处。然而，在矢量表示中存在改进的空间，因为当前的词嵌入通常包含不必要的信息，即，噪声我们提出了两个新的模型，以改善词嵌入的无监督学习，以产生字去噪嵌入。基于深度前馈神经网络滤波器，通过增强原始词嵌入中的显著信息和减弱噪声，得到词去噪嵌入。基准测试任务的结果表明，过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
Trading Syntax Trees for Wordpieces: Target-oriented Opinion Words Extraction with Wordpieces and Aspect Enhancement
University of Sheffield（谢菲尔德大学）；Beihang University（北京航空航天大学）
本研究提出一种移除GCN并利用BERT词片与句子-方面对的方法，有效解决了目标导向意见词抽取中的表示丢失问题，在基准数据集上取得最优结果。
2023-05-18 cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；LRI, Univ. Paris-Sud, CNRS（巴黎第十一大学计算机研究实验室，法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中，我们探讨了语境词嵌入的特点，并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案，考虑上下文的多意义词嵌入的噪声（去除），并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入（替换）。实验结果表明，本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐，而不会影响双语词典归纳任务的宏观性能。对于无监督对齐，我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science（印度科学研究所）；University of British Columbia（英属哥伦比亚大学）
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督（DS）是一种流行的技术，用于从有限监督开始开发关系提取器。我们注意到，在远程监督关系抽取设置中的大多数句子都很长，并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先，我们提出了两个新的词注意力模型的远程监督关系抽取：（1）双向门控递归单元（Bi-GRU）为基础的词注意力模型（BGWA），（2）以实体为中心的注意力模型（EA），和（3）组合模型，采用加权投票方法结合多个互补的模型改进的关系抽取。其次，介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声，使可靠的自动评估成为可能。第三，通过在多个真实数据集上的大量实验，我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings
University of Liverpool（利物浦大学）；Amazon（亚马逊）
给定使用不同算法和词汇资源学习的多个源词嵌入，Meta词嵌入学习方法试图学习更准确和覆盖范围更广的词嵌入。先前关于元嵌入的工作一再发现，源嵌入的简单向量级联是一个有竞争力的基线。然而，目前还不清楚为什么以及何时简单的向量拼接可以产生准确的元嵌入。我们表明，加权级联可以看作是每个源嵌入和元嵌入之间的频谱匹配操作，最大限度地减少成对内积损失。在此理论分析之后，我们提出了两种\emph{unsupervised}方法来学习从给定的源嵌入集合创建元嵌入的最佳级联权重。在多个基准数据集上的实验结果表明，所提出的加权级联元嵌入方法优于先前提出的元嵌入学习方法。
2022-04-26 cs.AI cs.CL cs.LG
Convolutional neural networks for chemical-disease relation extraction are improved with character-based word embeddings
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
我们研究了将基于字符的单词表示纳入标准的基于CNN的关系抽取模型。我们使用两种常见的神经架构CNN和LSTM进行实验，以从字符嵌入中学习单词向量表示。通过BioCreative-V CDR语料库上的一项任务，提取化学品和疾病之间的关系，我们表明，利用基于字符的单词表示的模型改进了不使用此信息的模型，获得了相对于以前的神经方法的最先进的结果。
2018-05-27 cs.CL
Clinical Concept Extraction with Contextual Word Embedding
Boston University（波士顿大学）；Philips Research North America（飞利浦北美研究院）
临床概念的自动提取是将临床笔记中的非结构化数据转化为结构化和可操作信息的重要步骤。在这项工作中，我们提出了一个临床概念提取模型的自动注释的临床问题，治疗和测试的临床笔记，利用特定领域的上下文词嵌入。首先在具有临床领域中的临床报告和相关维基百科页面的混合物的语料库上训练上下文词嵌入模型。接下来，使用上下文词嵌入模型训练双向LSTM-CRF模型用于临床概念提取。我们在I2 B2 2010挑战数据集上测试了我们提出的模型。我们提出的模型在报告的基线模型中取得了最好的性能，在F1得分方面比最先进的模型高出3.4%。
2018-11-26 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures；University of Edinburgh（爱丁堡大学）
我们描述了一个可视化工具，可以用来查看随着时间的推移，在单词的含义的变化。该工具利用现有的（静态）单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了\textit{AutoExtend}，一个系统来学习嵌入的同义词和词素。它是灵活的，因为它可以采取任何词嵌入作为输入，不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源，但AutoExtend可以很容易地应用于其他资源，如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Tsetlin Machine Embedding: Representing Words Using Logical Expressions
Centre for AI Research (CAIR), University of Agder（阿格德大学人工智能研究中心（CAIR））
在向量空间中嵌入单词是最先进的自然语言处理（NLP）中基本的第一步。典型的NLP解决方案采用预定义的向量表示，通过在向量空间中共同定位相似的单词来提高泛化能力。例如，Word2Vec是一个自我监督的预测模型，它使用神经网络捕获单词的上下文。类似地，GLoVe是一种流行的无监督模型，结合了语料库范围内的单词共现统计。这样的词嵌入大大提升了重要的NLP任务，包括情感分析、文档分类和机器翻译。然而，嵌入是密集的浮点向量，这使得它们的计算成本很高，并且难以解释。在本文中，我们建议用几个定义词来表示词的语义，这些词使用命题逻辑。为了产生这样的逻辑嵌入，我们引入了一个基于Tsetlin Machine的自动编码器，它可以自我监督地学习逻辑子句。这些条款由“黑”、“杯”和“热”等上下文单词组成，以定义“咖啡”等其他单词，因此是人类可以理解的。我们评估我们的嵌入方法在几个内在和外在的基准，优于GLoVe的六个分类任务。此外，我们使用训练过程中获得的逻辑表示来研究嵌入的可解释性。我们还在向量空间中可视化单词集群，演示我们的逻辑嵌入如何协同定位相似的单词。
2023-01-02 cs.AI cs.CL cs.LG
WordBias: An Interactive Visual Tool for Discovering Intersectional Biases Encoded in Word Embeddings
Stony Brook University（石溪大学）
交叉偏见是由多种社会因素如性别，性，种族，残疾，宗教等的重叠造成的偏见。最近的一项研究表明，词嵌入模型可能充满对交叉群体的偏见，如非洲裔美国女性等。解决这种交叉偏见的第一步是识别它们。然而，发现对不同交叉群体的偏见仍然是一项具有挑战性的任务。在这项工作中，我们提出了WordBias，一个交互式的视觉工具，旨在探讨偏见对静态词嵌入编码的交叉组。给定一个预训练的静态词嵌入，WordBias根据种族、年龄等计算每个词与不同群体的关联，然后使用一个新颖的交互式界面将它们可视化。使用一个案例研究，我们展示了如何字偏见可以帮助发现偏见对交叉群体，如黑人穆斯林男性，贫困女性等编码在词嵌入。此外，我们还使用来自专家访谈的定性反馈来评估我们的工具。该工具的源代码可以在github.com/bhavyaghai/WordBias上公开访问，以供复制。
2021-09-06 cs.AI cs.CL cs.HC
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Embedding Words as Distributions with a Bayesian Skip-gram Model
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
我们介绍了一种方法，用于嵌入单词的概率密度在低维空间。而不是假设一个词嵌入是固定的整个文本集合，在标准的词嵌入方法，在我们的贝叶斯模型中，我们从一个词特定的先验密度为每个给定的词的出现。直觉上，对于每个单词，先验密度编码了其潜在“含义”的分布。这些先验密度在概念上类似于高斯嵌入。有趣的是，与高斯嵌入不同，我们还可以获得上下文特定的密度：它们编码了给定上下文的单词意义的不确定性，并对应于我们模型中的后验分布。上下文相关的密度有许多潜在的应用：例如，我们表明，它们可以直接用于词汇替换任务。我们描述了一种有效的估计方法的基础上变分自编码框架。我们还证明了我们的嵌入在标准基准测试中取得了有竞争力的结果。
2018-06-10 cs.AI cs.CL cs.LG
Task-Specific Dependency-based Word Embedding Methods
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法，通用的任务，我们设计的特定任务的词嵌入方法，以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架，并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入（DWE），它选择依存关系树中的关键词和目标词的相邻词作为上下文，构建词-上下文矩阵。第二种方法，名为类增强依赖性为基础的词嵌入（CEDWE），学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估，以证明其有效性。实验结果表明，它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
Using BERT Embeddings to Model Word Importance in Conversational Transcripts for Deaf and Hard of Hearing Users
Rochester Institute of Technology（罗切斯特理工学院）
聋人和重听人在观看电视直播时经常依赖字幕。监管机构使用各种字幕评估指标来评估实况电视字幕。然而，字幕评估指标往往不被DHH用户的偏好或字幕的意义。需要构建字幕评估度量，其考虑文字在转录中的相对重要性。我们在现有语料库中对两种类型的词嵌入和人工标注的词重要性分数进行了相关性分析。我们发现，使用BERT生成的规范化上下文单词嵌入与手动注释的重要性分数的相关性优于基于word2vec的词嵌入。我们提供了一对词嵌入及其人工注释的重要性分数。我们还通过训练单词重要性模型来提供概念验证实用程序，在6类单词重要性分类任务中获得了0.57的F1分数。
2022-06-24 cs.AI cs.CL cs.HC
Word Mover's Embedding: From Word2Vec to Document Embedding
IBM Research（IBM研究院）；Carnegie Mellon University（卡内基梅隆大学）；College of William and Mary（威廉与玛丽学院）
虽然著名的Word2Vec技术为单个单词提供了丰富的语义表示，但在扩展以生成无监督句子或文档嵌入方面的成功相对较少。最近的工作表明，文档之间的距离测量称为\emph{Word Mover's Distance}（WMD），对齐语义相似的单词，产生前所未有的KNN分类精度。然而，大规模杀伤性武器是昂贵的计算，它是很难扩展其使用超越KNN分类。在本文中，我们提出了\emph{Word Mover's Embedding }（WME），一种新的方法来建立一个无监督的文档（句子）嵌入从预先训练的词嵌入。在我们对9个基准文本分类数据集和22个文本相似性任务的实验中，所提出的技术始终匹配或优于最先进的技术，在短长度问题上具有显着更高的准确性。
2018-10-30 cs.AI cs.CL cs.LG
Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇，在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典，这些种子词典的获取成本很高，或者需要包含粗糙和噪声对齐的平行句子。相反，我们提出了BilLex，利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下，BilLex采用了一种新的词对策略，自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估，发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL（洛桑联邦理工学院）；Iprova SA（Iprova公司）
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中，我们展示了如何训练词嵌入联合二元组，甚至三元组嵌入，结果在改进的unigram嵌入。我们声称，训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息，从而产生更好的独立词嵌入。我们的经验表明，我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
An Evaluation Dataset for Legal Word Embedding: A Case Study On Chinese Codex
National Taiwan University（台湾大学）
词嵌入是一种现代的分布式词表示方法，广泛应用于许多自然语言处理任务中。将法律文档中的词汇转换为词嵌入模型有助于使法律文档经受机器学习、深度学习和其他算法，并且随后执行自然语言处理的下游任务，例如文档分类、合同审查和机器翻译。词嵌入模型的准确性评估的最常见和实用的方法是使用具有语言规则或词之间的关系的基准集，通过代数计算来执行类比推理。本文从2，388个中文法典语料库中提取5种法律关系，建立1，134个法律类比推理问题集（LARQS），并将其用于评估中文词嵌入模型的准确性。此外，我们发现法律关系可能是无处不在的词嵌入模型。
2022-03-29 cs.AI cs.CL cs.LG
Unsupervised Word and Dependency Path Embeddings for Aspect Term Extraction
Peking University（北京大学）；Microsoft Research（微软研究院）；University of Edinburgh（爱丁堡大学）
在本文中，我们开发了一种新的方法，方面的术语提取的基础上无监督学习的分布式表示的话和依赖路径。其基本思想是在嵌入空间中连接两个单词（w1和w2），并在它们之间建立依赖路径（r）。具体来说，我们的方法优化目标w1 + r = w2在低维空间，其中的多跳依赖路径被视为一个序列的语法关系和模型的递归神经网络。然后，针对基于条件随机场（CRF）的体词抽取，设计了考虑线性上下文和依赖上下文信息的嵌入特征。在SemEval数据集上的实验结果表明：（1）仅使用嵌入特征，我们就可以获得最佳的结果;（2）我们的嵌入方法结合了词间的句法信息，在体词提取方面比其他有代表性的方法有更好的性能。
2016-05-25 cs.CL
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology（奈良先端科学技术大学）；Tokyo Metropolitan University（东京都立大学）
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性，特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验，使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明，我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Chinese Event Extraction Using DeepNeural Network with Word Embedding
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
大量关于事件提取的先前工作已经利用各种特征来表示事件。这种方法有几个缺点：1）特征通常是特定于特定领域的，并且不能很好地概括; 2）特征是从各种语言分析中导出的，并且容易出错;以及3）一些特征可能是昂贵的，并且需要领域专家。在本文中，我们开发了一个中文事件提取系统，使用词嵌入向量来表示语言，和深度神经网络学习的抽象特征表示，以大大减少特征工程的努力。此外，在这个框架中，我们利用大量的未标记的数据，这可以解决有限的标记语料的问题，这项任务。实验结果表明，与使用丰富语言特征的系统相比，我们提出的方法性能更好，并且使用未标记数据有利于词嵌入。这项研究表明DNN和词嵌入在事件提取任务中的潜力。
2016-10-04 cs.CL
Dynamic Contextualized Word Embeddings
University of Oxford（牛津大学）；LMU Munich（慕尼黑大学）
静态的词嵌入用一个向量来表示词，不能捕捉到词在不同语言和语言外语境中的意义变化。在上下文化和动态词嵌入的基础上，我们引入了动态上下文化的词嵌入，它代表了语言和语言外语境的函数。基于预训练的语言模型（PLM），动态上下文化的词嵌入联合建模时间和社会空间，这使得它们对于一系列涉及语义变化的NLP任务具有吸引力。通过对四个英文数据集的定性和定量分析，我们突出了潜在的应用场景。
2021-06-08 cs.CL
KSW: Khmer Stop Word based Dictionary for Keyword Extraction
Institute of Technology of Cambodia（柬埔寨理工学院）；University of Cologne（科隆大学）
本文提出KSW，一种基于定制停用词词典的高棉语关键词提取方法，通过预处理移除停用词，显著提升提取准确性和相关性，并公开资源。
2024-05-27 cs.CL cs.IR
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.（Yik Yak公司）；Georgia Institute of Technology（佐治亚理工学院）
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计，这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入，结合形态信息，捕捉共享的子词特征。与以前的工作，直接从语素构建词嵌入，我们结合形态和分布信息在一个统一的概率框架，其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布，这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进，也在下游的词性标注任务。
2016-09-24 cs.CL
A Survey On Neural Word Embeddings
Izmir Institute of Technology（伊兹密尔理工学院）
理解人类语言一直是智能机器道路上的一个子挑战。自然语言处理中的意义研究依赖于分布假设，即语言元素从上下文中共同出现的单词中获得意义。概念的分布式表征这一革命性的想法与人类思维的工作方式非常接近，因为一个单词的含义分散在几个神经元中，而失去激活只会轻微影响记忆提取过程。神经词嵌入通过在所有NLP任务中引入实质性的改进，改变了整个NLP领域。在这项调查中，我们提供了一个全面的文献综述神经词嵌入。我们给出了理论基础，并描述了现有的工作之间的相互作用词嵌入和语言建模。我们提供了广泛的覆盖神经词嵌入，包括早期的词嵌入，嵌入针对特定的语义关系，意义嵌入，词素嵌入，最后，上下文表示。最后，我们描述了字嵌入的性能评估和下游任务中的基准数据集以及词嵌入的性能结果。
2021-10-05 cs.AI cs.CL cs.LG
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business（雅典经济与商业大学）
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中，我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具，用于测试希腊词嵌入，通过提供“类比”，“相似度得分”和“最相似的话”的功能。通过我们的探索者，人们可以与希腊词向量互动。
2018-10-26 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
在越南语依存句法分析中，已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器，其取得了最先进的结果。在本文中，我们提出了一种新方法，该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank（VnDT）。
2019-10-30 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Sciences（数学与计算机科学学院）；Federal University of São Carlos（圣卡洛斯联邦大学）
已经发现词嵌入以有效的方式为词提供有意义的表示;因此，它们在自然语言处理系统中变得普遍。在本文中，我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型，包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价，在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明，词类比是不适合词嵌入评价，任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
A Joint Model for Word Embedding and Word Morphology
University of Cambridge（剑桥大学）
本文提出了一种联合模型，用于对单词进行无监督的形态分析，并学习从词素到词嵌入的字符级组合函数。我们的模型将单个单词分成几个部分，并根据其预测上下文单词的能力对每个部分进行加权。我们的形态分析是专门的形态分析仪在词素边界恢复的任务，也比基于单词的嵌入模型在句法类比回答的任务表现更好。最后，我们表明，将形态显式地纳入字符级模型，帮助他们产生嵌入看不见的话，更好地与人类的判断。
2016-06-08 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通用词嵌入是在大规模通用语料库上训练的;领域特定（DS）词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入，称为域自适应（DA）词嵌入，通过使用典型相关分析（CCA）或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明，DA嵌入大大优于通用和DS嵌入时，作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University（石溪大学）
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗？词嵌入实验的可重复性如何？所有的词嵌入技术都同样可靠吗？在本文中，我们提出了评估方法，学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下（其中他们受到不同的随机初始化）的相似性。我们的初步结果表明，我们的度量不仅测量了词嵌入方法的内在属性，而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Reconstruction of Word Embeddings from Sub-Word Parameters
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
预训练的词嵌入以增加模型大小为代价提高了神经模型的性能。我们建议从这个资源中受益，而不支付严格的操作在子词汇水平的成本。我们的方法很简单：在任务特定的训练之前，我们首先优化子词参数以使用各种距离度量来重建预训练的词嵌入。我们报告有趣的结果在各种任务：词相似性，词的类比，和词性标注。
2017-07-21 cs.CL
Dictionary-based Debiasing of Pre-trained Word Embeddings
Tokyo Metropolitan University（东京都立大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊）
在大型语料库上训练的词嵌入显示出高度的不公平歧视性性别、种族、宗教和民族偏见。相比之下，人类编写的词典以简洁、客观和公正的方式描述单词的含义。我们提出了一种使用字典对预训练的词嵌入进行去偏置的方法，而不需要访问原始训练资源或关于所使用的词嵌入算法的任何知识。与以前的工作不同，我们所提出的方法不需要的类型的偏见被预先定义的单词列表的形式，并学习的约束，必须满足无偏词嵌入自动从字典定义的话。具体地，我们学习编码器以生成输入词嵌入的去偏版本，使得它（a）保留预训练的词嵌入的语义，（b）根据字典同意词的无偏定义，以及（c）保持与由预训练的词嵌入空间中的任何偏置基向量所跨越的向量空间正交。标准基准数据集上的实验结果表明，该方法可以准确地去除预训练词嵌入中编码的不公平偏见，同时保留有用的语义。
2021-01-23 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而，词嵌入对于下游NLP任务的有效性受到词汇表外（OOV）词的限制，对于这些词，嵌入不存在。在本文中，我们提出了MIMICK，一种方法来生成OOV词嵌入组成，通过学习一个函数的拼写分布嵌入。与之前的工作不同，MIMICK不需要对原始词嵌入语料库进行重新训练;相反，学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上，MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中，它与有监督的基于字符的模型具有竞争力（和互补性）。
2017-07-21 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
词嵌入是文本文档中单个词在向量空间中的表示，它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA（Supervised Word Embeddings for情感分析）。SWESA利用文档标签信息，通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题，从适度的文本文档语料库中学习词的向量表示。分析表明，SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明，SWESA具有优越的性能相比，以前建议的方法，词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
PSDVec是一个学习词嵌入的Python/Perl工具箱，即将自然语言中的单词映射到连续向量，这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程，我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间，并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理（NLP）任务上，PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
RPD: A Distance Function Between Word Embeddings
University of Washington（华盛顿大学）；Nanjing University（南京大学）
众所周知，不同的算法、训练过程和语料库会产生不同的词嵌入。然而，对不同嵌入空间之间的关系知之甚少，即不同的嵌入集合彼此偏离多远。在本文中，我们提出了一种新的度量称为相对成对内积距离（RPD）量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质，我们系统地研究了不同算法的词嵌入之间的关系，并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足，并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
Development of Word Embeddings for Uzbek Language
Copper City Labs（铜城实验室）
在本文中，我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集，使用内部开发的高质量Web抓取语料库在word2vec，GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
Simple and Effective Dimensionality Reduction for Word Embeddings
Microsoft India（微软印度）
词嵌入已经成为若干自然语言处理和信息检索任务的基本构建块。预训练的词嵌入用于几个下游应用程序，以及用于构建句子，段落和文档的表示。最近，人们一直强调通过后处理算法进一步改进预训练的词向量。一个这样的改进领域是词嵌入的降维。通过降维来减小词嵌入的大小可以提高它们在存储器受限设备中的效用，从而有益于若干现实世界的应用。在这项工作中，我们提出了一种新的算法，有效地结合了PCA的降维与最近提出的后处理算法，构建低维的词嵌入。对12个标准词相似度基准的实证评估表明，我们的算法将嵌入维数降低了50%，同时实现了类似或（更经常）更好的性能比高维嵌入。
2017-11-21 cs.CL
