Improving Negative Sampling for Word Representation using Self-embedded Features
University of Glagow（格拉斯哥大学）；Shanghai Jiao Tong University（上海交通大学）
虽然基于词流行度的负样本在跳跃语法模型中表现出了卓越的性能，但将流行（未观察到的）词过采样为负样本背后的理论动机仍然没有得到很好的理解。本文首先研究了在没有适当负采样器的情况下skipgram模型的梯度消失问题。通过从随机梯度下降（SGD）学习的角度进行深入的分析，我们证明了，无论是理论上还是直观上，负样本具有较大的内积分数比那些具有较低的分数SGD学习者在收敛速度和准确性方面的信息。理解这一点，我们提出了一种替代的采样算法，在每次SGD更新期间动态选择信息负样本。更重要的是，所提出的采样器在采样过程中考虑了多维自嵌入特征，这本质上使其比原始的基于流行度的（一维）采样器更有效。实验进一步验证了我们的观察，并表明，我们的细粒度采样器获得显着改善现有的，而不增加计算复杂性。
2018-06-26 cs.CL cs.LG stat.ML
Exploring the Combination of Contextual Word Embeddings and Knowledge Graph Embeddings
Université de Lorraine（洛林大学）
“经典”词嵌入，如Word 2 Vec，已被证明可以根据词的分布特性捕获词的语义。然而，它们表示一个词可能具有的不同含义的能力是有限的。这样的方法也不显式地编码实体之间的关系，如由单词表示的。知识库的嵌入捕捉了词所表示的实体之间的显式关系，但不能直接捕捉这些词的组合属性。据我们所知，最近的研究主要集中在表示学习上，它可以增强一个学习者和另一个学习者的优势。在这项工作中，我们开始探索另一种方法，使用上下文和KB嵌入联合在同一水平上，并提出了两个任务-实体类型和关系类型的任务-评估上下文和KB嵌入的性能。我们还评估了这两个任务的上下文和KB嵌入的级联模型，并在第一个任务上获得了结论性的结果。我们希望我们的工作可以作为模型和数据集的基础，朝着这种方法的方向发展。
2020-04-17 cs.CL cs.LG
Multilingual Alignment of Contextual Word Representations
University of California, Berkeley（加州大学伯克利分校）；Computer Science Division（计算机科学系）
我们提出了评估和加强上下文嵌入对齐的程序，并表明它们在分析和改进多语言BERT中是有用的。特别是，在我们提出的对齐过程后，与基本模型相比，BERT在XNLI上表现出显着改善的zero-shot性能，显著匹配保加利亚语和希腊语的伪全监督训练模型。此外，为了测量对齐的程度，我们引入了一个上下文版本的单词检索，并表明它与下游zero-shot传输相关。使用这个词检索任务，我们还分析了BERT，并发现它表现出系统的缺陷，例如，更差的对齐开放类的词性和词对写在不同的脚本，纠正对齐过程。这些结果支持上下文对齐作为理解大型多语言预训练模型的有用概念。
2020-02-12 cs.CL cs.LG
Rethinking Contextualization by Reinterpreting Attention Head Channels
RIKEN（理化学研究所）；Tohoku University（东北大学）；New York University（纽约大学）；JAIST（北陆先端科学技术大学院大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出上下文化的一般原则：低信息词吸收更多上下文信息，并通过将注意力头重新解释为奇异向量门控的通道，揭示其信息路由机制，实现自动可解释的头分析。
2026-09-29 cs.CL cs.LG
Sparse associative memory based on contextual code learning for disambiguating word senses
Institut Mines-Télécom Atlantique（法国大西洋矿业电信学院）；Centre Hospitalier Universitaire de Brest（布雷斯特大学医院中心）
在最近的文献中，上下文预训练的语言模型（LM）在将知识推广到几个自然语言处理（NLP）任务中表现出了它们的潜力，包括有监督的词义消歧（WSD），这是自然语言理解（NLU）领域中的一个具有挑战性的问题。然而，来自这些模型的单词表示仍然非常密集，在内存占用方面代价高昂，并且可解释性最低。为了解决这些问题，我们提出了一种新的监督生物启发技术，用于将大型预训练的语言模型表示转换为压缩表示，对于WSD的情况。我们产生的表示有助于增加框架的一般可解释性，并减少内存占用，同时提高性能。
2019-11-14 cs.CL cs.LG
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
语境化的词表示，如ELMo和BERT，表现出良好的各种语义和句法任务。在这项工作中，我们解决了神经语言表示中语义和结构之间的无监督解开的任务：我们的目标是学习上下文化向量的转换，丢弃词汇语义，但保留结构信息。为此，我们自动生成结构相似但语义不同的句子组，并使用度量学习方法来学习强调编码在向量中的结构成分的转换。我们证明了我们的转换集群向量在空间中的结构属性，而不是词汇语义。最后，我们证明了我们的蒸馏表示的效用，表明他们优于原来的上下文表示在一个Few-Shot解析设置。
2021-03-11 cs.CL cs.LG
VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word Representations for Improved Definition Modeling
Graduate School of Engineering（工程研究生院）；The University of Tokyo（东京大学）
在本文中，我们解决了定义建模的任务，其目标是学习生成单词和短语的定义。现有的方法，这一任务是歧视性的，结合分布和词汇语义在一个隐含的，而不是直接的方式。为了解决这个问题，我们提出了一个生成模型的任务，引入了一个连续的潜在变量，明确建模上下文中使用的短语和它的定义之间的潜在关系。我们依靠变分推理进行估计，并利用上下文化的词嵌入来提高性能。我们的方法是评估现有的四个具有挑战性的基准，增加了两个新的数据集，“剑桥”和第一个非英语语料库“罗伯特”，我们发布，以补充我们的实证研究。我们的变分上下文定义建模器（VCDM）在自动和人工评估指标方面实现了最先进的性能，证明了我们方法的有效性。
2020-10-07 cs.CL cs.LG
Mitigating Gender Bias in Contextual Word Embeddings
本文提出新的掩码语言建模目标函数和评估指标，用于缓解上下文词嵌入中的性别偏见，同时证明静态嵌入偏见主要源于刻板印象名字而非性别化词语本身。
2024-11-18 cs.CL cs.LG
Contextual Embeddings: When Are They Worth It?
Stanford Univeristy（斯坦福大学）；Apple（苹果公司）
我们研究了深度上下文嵌入（例如，BERT）相对于经典的预训练嵌入（例如，GloVe），以及一个更简单的基线-随机词嵌入-专注于训练集大小和任务的语言属性的影响。令人惊讶的是，我们发现这两个更简单的基线都可以匹配行业规模数据上的上下文嵌入，并且通常在基准任务上的准确率（绝对）在5%到10%之间。此外，我们还识别了上下文嵌入带来特别大收益的数据属性：包含复杂结构的语言，模糊的单词用法以及在训练中看不到的单词。
2020-05-18 cs.CL cs.LG
Cross-Lingual Alignment of Contextual Word Embeddings, with Applications to Zero-shot Dependency Parsing
MIT（麻省理工学院）；Tel Aviv University（特拉维夫大学）
我们介绍了一种新的多语言传输方法，该方法利用深度上下文嵌入，以无监督的方式进行预训练。虽然上下文嵌入已被证明产生更丰富的表示意义相比，他们的静态同行，对齐他们提出了一个挑战，由于他们的动态性质。为此，我们构建了原始单语空间的上下文无关的变体，并利用它们的映射来导出上下文相关空间的对齐。这种映射很容易支持目标语言的处理，通过上下文感知的嵌入来改善传输。我们的实验结果表明，该方法的有效性zero-shot和少样本学习的依存句法分析。具体来说，我们的方法在6种测试语言上的表现始终优于以前的最先进技术，平均提高了6.8个LAS点。
2019-04-04 cs.CL cs.LG
Context is Key: Grammatical Error Detection with Contextual Word Representations
University of Cambridge（剑桥大学）
非母语写作中的语法错误检测（GED）要求系统识别语言学习者所写文本中的各种错误。错误检测作为一项纯粹的监督任务可能具有挑战性，因为GED数据集大小有限，并且标签分布高度不平衡。上下文化的单词表示提供了一种可能的解决方案，因为它们可以有效地捕获语言中的成分信息，并且可以在大量无监督数据上进行优化。在本文中，我们对ELMo、BERT和Flair嵌入进行了系统的比较（Peters等人，2017; Devlin等人，2018; Akbik等人，2018）在一系列公共GED数据集上进行，并提出一种将此类表示有效集成到当前方法中的方法，从而实现GED的新技术水平。我们进一步分析了不同上下文嵌入的优势和劣势，并详细分析了它们对不同类型错误的影响。
2020-05-01 cs.CL cs.LG
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）
用上下文化的词表示代替静态的词嵌入，在许多NLP任务上都有了显著的改进。然而，ELMo和BERT等模型产生的语境化表示究竟有多语境化呢？每个词是否有无限多个上下文特定的表征，或者词本质上被分配了有限数量的词义表征之一？首先，我们发现所有单词的语境化表示在语境化模型的任何一层都不是各向同性的。虽然相同单词在不同上下文中的表示仍然比两个不同单词的表示具有更大的余弦相似性，但这种自相似性在上层中要低得多。这表明上下文化模型的上层产生更多的上下文特定的表示，就像LSTM的上层产生更多的任务特定的表示一样。在ELMo、BERT和GPT-2的所有层中，平均而言，一个词的上下文表示中只有不到5%的方差可以通过该词的静态嵌入来解释，这为上下文表示的成功提供了一些理由。
2019-09-02 cs.CL
MICE: Mining Idioms with Contextual Embeddings
University of Ljubljana（卢布尔雅那大学）；Jožef Stefan Institute（约瑟夫·斯蒂芬研究所）
习惯表达对于自然语言处理应用来说可能是有问题的，因为它们的含义不能从它们的构成词中推断出来。缺乏成功的方法学方法和足够大的数据集阻碍了机器学习方法用于检测习语的发展，特别是对于训练集中没有出现的表达。我们提出了一种方法，称为MICE，使用上下文嵌入的目的。我们提出了一个新的数据集的多词表达的字面意义和习惯意义，并用它来训练分类器的基础上两个国家的最先进的上下文词嵌入：ELMo和BERT。我们发现，使用这两种嵌入的深度神经网络比现有方法表现得更好，并且能够检测惯用词的使用，即使是训练集中不存在的表达。我们展示了开发的模型的跨语言迁移，并分析了所需数据集的大小。
2021-11-10 cs.CL cs.LG
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；LRI, Univ. Paris-Sud, CNRS（巴黎第十一大学计算机研究实验室，法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中，我们探讨了语境词嵌入的特点，并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案，考虑上下文的多意义词嵌入的噪声（去除），并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入（替换）。实验结果表明，本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐，而不会影响双语词典归纳任务的宏观性能。对于无监督对齐，我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Detecting Ongoing Events Using Contextual Word and Sentence Embeddings
Universidad Nacional del Sur（南方国立大学）；Dalhousie University（达尔豪斯大学）
本文介绍了正在进行的事件检测（OED）任务，这是一个特定的事件检测任务，其目标是检测正在进行的事件只提到，而不是历史，未来，假设，或其他形式或事件，既不新鲜也不当前。任何需要从非结构化文本中提取关于正在发生的事件的结构化信息的应用程序都可以利用OED系统。本文的主要贡献如下：（1）介绍了OED任务以及为该任务手动标记的数据集;（2）提出了一个用于该任务的RNN模型的设计和实现，该模型使用BERT嵌入来定义上下文单词和上下文句子嵌入作为属性，据我们所知，这在以前从未用于检测新闻中的正在进行的事件;（3）它提出了一个广泛的经验评估，包括（i）不同架构和超参数的探索，（ii）研究每个属性的影响的消融测试，以及（iii）与最先进模型的复制进行比较。结果提供了几个见解的重要性，上下文嵌入，并表明该方法是有效的，在OED的任务，优于基线模型。
2021-02-05 cs.CL cs.LG
Improving Text Generation Evaluation with Batch Centering and Tempered Word Mover Distance
Harvard University（哈佛大学）；Google Research（谷歌研究院）
文本自动评估指标的最新进展表明，深度上下文化的单词表示（例如由BERT编码器生成的单词表示）有助于设计与人类判断良好相关的指标。与此同时，有人认为，语境化的单词表示表现出次优的统计特性，用于编码单词或句子之间的真实相似性。在本文中，我们提出了两种技术，用于改善编码表示的相似性度量：一个批量平均中心化策略，提高统计特性;和一个计算效率的回火词移动距离，更好地融合的信息在上下文的单词表示。我们进行了数值实验，证明了我们的技术的鲁棒性，报告结果在各种BERT骨干学习指标，并实现了最先进的相关性与人类评级的几个基准。
2020-10-13 cs.CL cs.LG
An Iterative Contextualization Algorithm with Second-Order Attention
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
将组成句子的单词的表示组合成一个有凝聚力的整体是困难的，因为它需要考虑单词的顺序，并建立单词之间的相互关系。我们提出的解决方案包括迭代地调整上下文。我们的算法从上下文的一个可能错误的值开始，并根据手头的令牌调整这个值。为了实现这一点，单词的表示被构建为将它们的符号嵌入与位置编码组合成单个向量。然后，该算法迭代加权和聚合这些向量使用我们的新的二阶注意力机制。我们的模型在几个著名的文本分类任务中报告了强大的结果。
2021-03-03 cs.CL cs.LG
Obtaining Better Static Word Embeddings Using Contextual Embedding Models
EPFL（洛桑联邦理工学院）
上下文词嵌入的出现--将上下文中的语义和句法信息结合在一起的词的表示--导致了各种各样的NLP任务的巨大改进。然而，最近的上下文模型在许多用例中具有过高的计算成本，并且通常难以解释。在这项工作中，我们证明了我们提出的蒸馏方法，这是基于CBOW的训练的一个简单扩展，可以显着提高NLP应用程序的计算效率，同时优于从头开始训练的现有静态嵌入的质量以及从以前提出的方法中提取的质量。作为一个副作用，我们的方法还允许通过标准的词汇评估任务的上下文和静态嵌入的公平比较。
2021-06-08 cs.AI cs.CL cs.LG
Improved Word Sense Disambiguation Using Pre-Trained Contextualized Word Representations
National University of Singapore（新加坡国立大学）
上下文化的词表示能够在不同的上下文中对同一个词给出不同的表示，并且它们已经被证明在下游自然语言处理任务中是有效的，例如问答、命名实体识别和情感分析。然而，在先前的工作中的词义消歧（WSD）的评估表明，使用上下文的词表示并没有优于最先进的方法，利用非上下文的词嵌入。在本文中，我们探索了不同的策略来整合预先训练的上下文化单词表示，我们的最佳策略在多个基准WSD数据集上实现了超过先前最佳发布准确度的准确度。我们在https://github.com/nusnlp/contextemb-wsd上提供源代码。
2019-12-28 cs.CL
A Survey on Contextual Embeddings
University of Oxford（牛津大学）；DeepMind（深度思维）；University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
ELMo和BERT等上下文嵌入超越了Word2Vec等全局单词表示，并在广泛的自然语言处理任务中实现了突破性的性能。上下文嵌入根据上下文为每个单词分配一个表示，从而捕获单词在不同上下文中的使用，并对跨语言传输的知识进行编码。在本调查中，我们回顾了现有的上下文嵌入模型，跨语言多语言预训练，上下文嵌入在下游任务中的应用，模型压缩和模型分析。
2020-04-13 cs.AI cs.CL cs.LG
Learning Taxonomies of Concepts and not Words using Contextualized Word Representations: A Position Paper
Institute for Web Science and Technologies (WeST), University of Koblenz-Landau（科布伦茨-兰道大学网络科学与技术研究所（WeST））；Web and Internet Science Group (WAIS), University of Southampton（南安普顿大学网络与互联网科学组（WAIS））
分类法是概念的语义层次。当前分类学学习系统的一个局限性是它们将概念定义为单个词。这份立场文件认为，语境化的词表示，最近取得了国家的最先进的成果，许多竞争性的NLP任务，是一个很有前途的方法来解决这一限制。我们概述了一种新的分类学学习方法，（1）将概念定义为同义词集，（2）学习基于密度的上下文单词表示近似，（3）可以测量它们之间的相似性和上位性。
2019-01-31 cs.AI cs.CL cs.LG
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings
Westlake University（西湖大学）
语言模型中的语境化词嵌入给自然语言处理带来了很大的进步。直观的，潜在的信息被集成到词的表示中，这可以帮助建模多义。然而，上下文敏感性也会导致表征的变化，这可能会破坏同义词的语义一致性。我们量化了在典型的预训练模型中，每个词义的上下文嵌入在上下文中的变化程度。结果表明，语境化的嵌入可以高度一致的上下文。此外，词性、词义数量和句子长度对意义表征的方差也有影响。有趣的是，我们发现单词表征是有位置偏见的，不同语境中的第一个单词往往更相似。我们分析了这种现象，并提出了一种简单的方法来减轻这种偏见，在基于距离的词义消歧设置。
2022-08-20 cs.CL
Robust Chinese Word Segmentation with Contextualized Word Representations
National Taiwan University（台湾大学）
近年来，基于神经网络的分词方法提出后，中文分词任务的准确率有了很大的提高。然而，在处理词汇表外的单词时，仍然存在很大的出错率。我们使用简单的双向LSTM架构和大规模预训练的语言模型来生成高质量的上下文化字符表示，成功地减少了汉字中广泛出现的每个汉字的歧义的弱点，从而有效地降低了OOV的出错率。在许多数据集上实现了最先进的性能。
2019-01-17 cs.CL
Improving Contextual Representation with Gloss Regularized Pre-training
ByteDance Inc.（字节跳动公司）
虽然在许多NLP任务上取得了令人印象深刻的结果，但BERT类掩蔽语言模型（MLM）遇到了预训练和推理之间的不一致。鉴于这一差距，我们从词概率分布的角度研究了预训练和推理的语境表征。我们发现，BERT的风险，忽略了上下文的单词相似性在预训练。为了解决这个问题，我们提出了一个辅助光泽正则化模块BERT预训练（GR-BERT），以提高单词的语义相似度。通过预测屏蔽词并同时将上下文嵌入与相应的注释对齐，可以显式地对词相似度进行建模。我们为GR-BERT设计了两种架构，并在下游任务中评估了我们的模型。实验结果表明，光泽正则化有利于BERT在词级和句子级的语义表示。GR-BERT在词汇替换任务中取得了新的进展，并且极大地促进了BERT在无监督和有监督STS任务中的句子表示。
2022-05-13 cs.AI cs.CL cs.LG
Exploring Kernel Functions in the Softmax Layer for Contextual Word Classification
RWTH Aachen University（亚琛工业大学）
核函数（kernels）主要用于支持向量机和逻辑回归，它可以隐式地将数据点映射到高维空间，使学习复杂的决策边界变得更容易。在这项工作中，通过替换softmax层中的内积函数，我们探索了使用内核进行上下文单词分类。为了比较各个内核，在标准语言建模和机器翻译任务上进行实验。我们在不同的内核设置中观察到广泛的性能。扩展的结果，我们看看梯度属性，调查各种混合策略，并检查消歧能力。
2019-10-28 cs.CL cs.LG stat.ML
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL（洛桑联邦理工学院）；Iprova SA（Iprova公司）
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中，我们展示了如何训练词嵌入联合二元组，甚至三元组嵌入，结果在改进的unigram嵌入。我们声称，训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息，从而产生更好的独立词嵌入。我们的经验表明，我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
上下文化的词表示已被证明对于各种自然语言处理任务是有用的。然而，目前还不清楚这些表示在多大程度上可以覆盖手工编码的语义信息，如语义框架，它指定了与谓词相关的参数的语义角色。在本文中，我们专注于动词，唤起不同的框架取决于上下文，我们调查如何以及语境化的词表示可以识别的框架，同一个动词唤起的差异。我们还探讨了哪些类型的表示是适合语义框架归纳。在我们的实验中，我们比较了七个不同的语境化的词表示的两个英语框架语义资源，框架网络和PropBank。我们证明了几个语境化的词表示，特别是BERT及其变体，是相当翔实的语义框架归纳。此外，我们还考察了动词的语境化表征在多大程度上可以估计动词所能唤起的框架数量。
2021-05-27 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
Contextual Word Representations: A Contextual Introduction
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
这篇介绍旨在讲述我们如何将文字输入计算机的故事。它是人工智能的一个分支自然语言处理（NLP）领域故事的一部分。它的目标受众广泛，对计算机编程有基本的了解，但避免了详细的数学处理，也没有提出任何算法。它也不关注NLP的任何特定应用，如翻译，问答或信息抽取。这里提出的想法是由许多研究人员在几十年中发展起来的，所以引用并不详尽，而是引导读者阅读一些论文，在作者看来，这些论文是开创性的。阅读本文档后，您应该对词向量（也称为词嵌入）有一个大致的了解：它们为什么存在，它们解决了什么问题，它们来自哪里，它们如何随着时间的推移而变化，以及关于它们的一些开放性问题是什么。对于已经熟悉词向量的读者，建议跳到第5节来讨论最新的进展，上下文词向量。
2020-04-17 cs.CL
Quantifying the Contextualization of Word Representations with Semantic Class Probing
LMU Munich（慕尼黑大学）；Microsoft Turing（微软图灵）
预训练的语言模型在许多NLP任务上已经达到了新的艺术水平，但关于它们如何以及为什么工作得这么好，仍然有许多悬而未决的问题。我们研究了BERT中词语的语境化。我们量化了情境化的数量，即，通过研究一个词的语义类别在多大程度上可以从它的语境化嵌入中推断出来，来研究词在语境中的解释情况。量化语境化有助于理解和利用预训练的语言模型。我们发现，顶层表示实现高精度推断语义类;最强的语境化效应发生在较低的层;本地上下文大多是足够的语义类推理;和顶层表示更具体的任务后微调，而较低层表示更可转移。微调揭示了任务相关的特征，但预训练的知识仍然在很大程度上被保留下来。
2020-10-11 cs.CL
Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models
Paralleldots, Inc.（Paralleldots公司）
当对句子中的不同单词执行极性检测时，我们需要查看周围的单词来理解情绪。像BERT这样的大规模预训练语言模型不仅可以对文档中的单词进行编码，还可以对单词周围的上下文进行编码。这就引出了一个问题，“预训练语言模型是否也会自动编码每个单词的情感信息？“和“它可以用来推断极性对不同的方面？".在这项工作中，我们试图回答这个问题，表明训练的比较上下文嵌入从BERT和通用的词嵌入可以用来推断情绪。我们还表明，如果我们微调一个子集的权重的模型建立在比较BERT和通用词嵌入，它可以得到最先进的结果极性检测方面基于情感分类数据集。
2020-11-23 cs.CL
Contextualized Word Vector-based Methods for Discovering Semantic Differences with No Training nor Word Alignment
Konan University（甲南大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；Tokyo University of Foreign Studies（东京外国语大学）；University of Tokyo（东京大学）
本文提出基于上下文化词向量范数的方法，无需训练和词对齐即可发现两个语料库中词语的语义差异，在母语与非母语及历史语料库中验证了其对语料规模偏斜的鲁棒性及低频词检测能力。
2023-05-19 cs.CL
The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations
Télécom-Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院）；INRIA（法国国家信息与自动化研究所）
本文研究语言模型中未登录词被切分为子词后如何获得单向量表示，并通过语义相似性任务评估不同模型嵌入质量，发现被切分词的表示通常但并非总是更差，且其相似度值需谨慎解读。
2024-02-22 cs.CL
BCWS: Bilingual Contextual Word Similarity
National Taiwan University（国立台湾大学）
本文介绍了第一个用于评估英汉双语上下文词相似度的数据集，即BCWS（https：//github.com/MiuLab/BCWS）。该数据集由2，091个英汉单词对组成，具有相应的上下文和人类注释的相似性得分。与其他类似的数据集相比，我们的注释数据集具有更高的一致性。我们为双语嵌入任务建立了几个基线来衡量实验。对该数据集中提供的跨语言意义表示进行建模，有可能使人工智能从单语理解转向多语言理解。
2018-10-21 cs.CL
Combining Static Word Embeddings and Contextual Representations for Bilingual Lexicon Induction
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
双语词汇归纳（BLI）旨在将一种语言中的单词映射到另一种语言中的翻译，通常通过学习线性投影来对齐单语单词表示空间。BLI的词汇表征分为静态词嵌入和语境表征两类，但还没有将两者结合起来的研究。在本文中，我们提出了一个简单而有效的机制，结合静态词嵌入和上下文表示，利用这两种范式的优点。我们测试的组合机制在各种语言对下的监督和无监督BLI基准设置。实验表明，我们的机制在所有语言对上的鲁棒BLI基线上持续提高性能，在监督设置中平均提高3.2点，在无监督设置中平均提高3.1点。
2021-06-10 cs.CL
Topic Modeling with Contextualized Word Representation Clusters
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Cornell University（康奈尔大学）
聚类标记级上下文化单词表示产生的输出与英语文本集合的主题模型有许多相似之处。与词汇级词嵌入的聚类不同，所得到的模型更自然地捕获多义词，并且可以用作组织文档的一种方式。我们评估从流行的上下文语言模型的几个不同的输出层训练的标记聚类。我们发现，BERT和GPT-2产生高质量的聚类，但ROBERTa不。这些聚类模型简单、可靠，即使不比LDA主题模型更好，也能表现得很好，即使主题数量相对于本地集合的大小很大，也能保持高主题质量。
2020-10-23 cs.CL
Clinical Concept Extraction with Contextual Word Embedding
Boston University（波士顿大学）；Philips Research North America（飞利浦北美研究院）
临床概念的自动提取是将临床笔记中的非结构化数据转化为结构化和可操作信息的重要步骤。在这项工作中，我们提出了一个临床概念提取模型的自动注释的临床问题，治疗和测试的临床笔记，利用特定领域的上下文词嵌入。首先在具有临床领域中的临床报告和相关维基百科页面的混合物的语料库上训练上下文词嵌入模型。接下来，使用上下文词嵌入模型训练双向LSTM-CRF模型用于临床概念提取。我们在I2 B2 2010挑战数据集上测试了我们提出的模型。我们提出的模型在报告的基线模型中取得了最好的性能，在F1得分方面比最先进的模型高出3.4%。
2018-11-26 cs.CL
Improving Chemical Named Entity Recognition in Patents with Contextualized Word Embeddings
The University of Melbourne（墨尔本大学）；Elsevier（爱思唯尔）
化学专利是重要的化学信息资源。然而，很少有化学命名实体识别（NER）系统已被评估的专利文件，部分原因是其结构和语言的复杂性。在本文中，我们探讨了NER性能的BiLSTM-CRF模型利用预训练的词嵌入，字符级的词表示和上下文ELMo词表示化学专利。我们比较了在生物医学和化学专利语料库上预训练的词嵌入。还探讨了针对化学领域优化的标记器对化学专利中NER性能的影响。两个专利语料库的结果表明，从ELMo生成的上下文化的词表示大大提高化学NER性能w.r.t.我们还表明，特定领域的资源，如词嵌入培训的化学专利和化学特定的标记器对NER性能有积极的影响。
2019-07-05 cs.CL
Locally-Contextual Nonlinear CRFs for Sequence Labeling
University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
线性链条件随机场（CRF）与上下文词嵌入相结合的序列标记任务的最先进的性能。在许多这些任务中，当预测给定单词的标签时，相邻单词的身份通常是最有用的上下文信息。然而，上下文嵌入通常以任务不可知的方式训练。这意味着，虽然它们可以编码关于相邻字的信息，但不能保证。因此，设计序列标记架构以直接从嵌入中提取该信息可能是有益的。我们提出了局部上下文的非线性CRF序列标记。我们的方法在预测给定单词的标签时直接结合来自相邻嵌入的信息，并使用深度神经网络参数化潜在函数。我们的模型作为线性链CRF的替代品，在我们的消融研究中始终优于它。在各种各样的任务，我们的结果是具有竞争力的最好的公布的方法。特别是，我们超越了以前的国家的最先进的组块在CoNLL 2000和命名实体识别OntoNotes 5.0英语。
2021-03-30 cs.CL cs.LG stat.ML
Assessing Social and Intersectional Biases in Contextualized Word Representations
Yale University（耶鲁大学）
机器学习中的社会偏见已经引起了人们的极大关注，工作范围从在众多应用程序中展示偏见，为不同的上下文策划公平的定义，到开发算法来减轻偏见。在自然语言处理中，性别偏见已经被证明存在于上下文无关的词嵌入中。最近，上下文单词表示在几个下游NLP任务中的表现优于词嵌入。这些单词表示取决于它们在句子中的上下文，也可以用于编码整个句子。在本文中，我们分析了在何种程度上的最先进的模型上下文单词表示，如BERT和GPT-2，编码偏见与性别，种族和交叉身份。为此，我们建议在上下文单词水平上评估偏见。这种新颖的方法捕捉上下文无关的词嵌入中的偏差缺失的上下文效应，但避免了混淆效应，低估了偏见在句子编码水平。我们证明了在语料库水平上的偏见的证据，发现不同的证据嵌入关联测试中的偏见，特别是显示，种族偏见是强烈编码的上下文单词模型，并观察到交叉少数民族的偏见影响加剧超越其组成少数民族的身份。此外，在上下文单词水平上评估偏见效应可以捕获在句子水平上无法捕获的偏见，这证实了我们新方法的必要性。
2019-11-04 cs.AI cs.CL cs.CY
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich（慕尼黑大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
单词对齐对于统计和神经机器翻译（NMT）以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好，NMT中提取对齐与翻译的方法也是如此。然而，大多数方法需要并行的训练数据，并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建，而不依赖于任何并行数据或字典。我们发现，与传统统计对齐器产生的对齐相比，从嵌入创建的对齐对于四种语言对是优越的，并且对于两种语言对是可比的，即使具有丰富的并行数据;例如，语境化嵌入实现了英语-德语的单词对齐F1，比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
Investigating the Contextualised Word Embedding Dimensions Specified for Contextual and Temporal Semantic Changes
Tokyo Metropolitan University（东京都立大学）；University of Liverpool（利物浦大学）
本文通过 PCA 与 ICA 比较预训练及微调 CWE，揭示语义变化维度的分布差异及 PCA 在前 10% 轴上的优势，为高效 SCD 方法提供依据。
2024-12-03 cs.CL
Incremental Sense Weight Training for the Interpretation of Contextualized Word Embeddings
EMORY University（埃默里大学）
我们提出了一种新的在线算法，学习词嵌入中的每个维度的本质，通过最小化上下文嵌入组的组内距离。使用三种最先进的基于神经的语言模型Flair、ELMo和BERT来生成上下文化的词嵌入，以便为相同的词类型生成不同的嵌入，这些嵌入通过SemCor数据集中手动注释的含义进行分组。我们假设并非所有维度对于下游任务都同样重要，以便我们的算法可以检测不必要的维度并丢弃它们，而不会损害性能。为了验证这一假设，我们首先掩模尺寸确定不必要的我们的算法，应用掩蔽的词嵌入的词义消歧任务（WSD），并比较其性能对一个实现的原始嵌入。几个KNN的方法进行了实验，以建立强大的基线WSD。我们的研究结果表明，掩蔽的词嵌入不损害性能，可以提高3%。我们的工作可以用来进行未来的上下文嵌入的可解释性的研究。
2020-05-23 cs.CL
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection
Cardiff University（卡迪夫大学）；Université d’Artois（阿图瓦大学）；CRIL-CNRS（法国国家科学研究中心计算机与自动化研究所）
词汇语义学的一个长期存在的挑战在于学习反映其语义属性的词的表示。词嵌入在这方面的显著成功表明，通过总结词提及的句子上下文可以获得高质量的表示。在本文中，我们提出了一种学习单词表示的方法，遵循这一基本策略，但在两个重要方面不同于标准的词嵌入。首先，我们利用上下文化的语言模型（CLM），而不是词向量袋编码上下文。其次，我们不是直接学习单词向量，而是使用主题模型来划分单词出现的上下文，然后为每个单词学习不同的主题特定向量。最后，我们使用一个特定于任务的监督信号，使软选择的结果向量。我们发现，这种简单的策略导致高质量的词向量，这是更预测的语义属性比词嵌入和现有的CLM为基础的战略。
2021-06-15 cs.CL
Shades of meaning: Uncovering the geometry of ambiguous word representations through contextualised language models
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本研究利用上下文语言模型进行模拟，发现其词表征能区分无歧义词、同形异义词和多义词，且与词典分类及心理学理论一致，为词汇歧义的心理学解释提供定量支持。
2023-04-26 cs.CL
Unsupervised Contextualized Document Representation
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）；School of Computing, University of Utah（犹他大学计算机学院）
一些NLP任务需要文本文档的有效表示。Arora et.例如，2017年的研究表明，词向量的简单加权平均通常优于神经模型。SCDV（Mekala et.例如，2017）通过在预先计算的词向量上采用软和稀疏聚类，进一步将其从句子扩展到文档。然而，这两种技术都忽略了词的多义性和语境特征。在本文中，我们通过提出SCDV+BERT（ctxd）来解决这个问题，这是一种简单有效的无监督表示，它结合了上下文化的BERT（Devlin等人，2019）基于词嵌入的SCDV软聚类词义消歧方法。我们表明，我们的嵌入在许多分类数据集上优于原始SCDV，预训练BERT和其他几个基线。我们还证明了我们的嵌入在其他任务，如概念匹配和句子相似性的有效性。此外，我们表明，SCDV+BERT（ctxd）优于微调BERT和不同的嵌入方法的情况下，有限的数据和只有少数镜头的例子。
2021-09-22 cs.CL cs.IR cs.LG
Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs
University of California, Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
LSTM最近成功背后的驱动力是它们学习复杂和非线性关系的能力。因此，我们无法描述这些关系，导致LSTM被描述为黑箱。为此，我们引入了上下文分解（CD），这是一种解释算法，用于分析标准LSTM做出的单个预测，而无需对底层模型进行任何更改。通过分解LSTM的输出，CD捕获单词或变量的组合对LSTM最终预测的贡献。在使用Yelp和SST数据集进行情感分析的任务中，我们展示了CD能够可靠地识别对比情感的单词和短语，以及如何将它们组合起来产生LSTM的最终预测。使用SST中的短语级标签，我们还证明了CD能够成功地从LSTM中提取正负否定，这是以前没有做过的。
2018-04-27 cs.CL cs.LG stat.ML
Contextualized Word Representations for Reading Comprehension
Tel-Aviv University（特拉维夫大学）
最近，阅读文档并提取关于其内容的问题的答案引起了大量关注。虽然大多数工作都集中在问题和文件之间的相互作用，在这项工作中，我们评估的重要性时，独立处理的问题和文件的上下文。我们为此任务采用标准神经架构，并表明通过从大型预训练语言模型提供丰富的上下文化单词表示，以及允许模型在上下文相关和上下文无关的单词表示之间进行选择，我们可以获得显着的改进，并达到与竞争SQuAD数据集上最先进的性能相当的性能。
2018-09-04 cs.CL
Retrofitting Contextualized Word Embeddings with Paraphrases
University of California Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加利福尼亚大学）；University of Pennsylvania（宾夕法尼亚大学）
语境化的词嵌入模型，如ELMo，生成词及其语境的有意义的表示。这些模型已被证明对下游应用有很大的影响。然而，在许多情况下，当上下文被释义时，单词的上下文化嵌入发生了巨大的变化。因此，下游模型对释义和其他语言变体不具有鲁棒性。为了提高语境化词嵌入模型的稳定性，我们提出了一种利用释义语境来改进语境化嵌入模型的方法。我们的方法学习输入空间上的正交变换，其旨在最小化释义上下文上的单词表示的方差。实验表明，改进后的模型在各种句子分类和语言推理任务上的性能明显优于原始ELMo。
2019-09-12 cs.AI cs.CL
Hurtful Words: Quantifying Biases in Clinical Contextual Word Embeddings
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Massachusetts Institute of Technology（麻省理工学院）
在这项工作中，我们研究了嵌入可能在多大程度上以不同的方式对边缘化人群进行编码，以及这可能如何导致偏见的延续和临床任务的表现恶化。我们在MIMIC-III医院数据集的医疗记录上预训练深度嵌入模型（BERT），并使用两种方法量化潜在的差异。首先，我们确定危险的潜在关系，所捕获的上下文词嵌入使用一个填空的方法与文本从真正的临床笔记和日志概率偏差得分量化。其次，我们评估了50多个下游临床预测任务（包括急性和慢性疾病的检测）中不同公平性定义的性能差距。我们发现，从BERT表示训练的分类器表现出统计上的显着差异的性能，往往有利于大多数群体的性别，语言，种族和保险状况。最后，我们探讨了使用对抗性去偏置来混淆上下文词嵌入中的子组信息的缺点，并推荐了临床环境中这种深度嵌入模型的最佳实践。
2020-03-11 cs.CL cs.CY cs.LG
Using Paraphrases to Study Properties of Contextual Embeddings
University of Michigan（密歇根大学）
我们使用释义作为一个独特的数据源来分析上下文嵌入，特别关注BERT。由于释义自然地编码一致的单词和短语语义，它们为研究嵌入的属性提供了独特的镜头。使用释义数据库的路线，我们研究的释义以及短语表示的话。我们发现，上下文嵌入有效地处理多义词，但在许多情况下，给同义词令人惊讶的不同表示。我们证实了以前的研究结果，BERT是敏感的词序，但发现略有不同的模式比以前的工作在跨BERT的层的语境化的水平。
2022-07-12 cs.CL
Dissecting Contextual Word Embeddings: Architecture and Representation
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
从预训练的双向语言模型（biLM）中导出的上下文单词表示最近已被证明为广泛的NLP任务提供了对现有技术的显着改进。然而，许多问题仍然是如何以及为什么这些模型是如此有效。在本文中，我们提出了一个详细的实证研究，研究神经架构的选择（例如LSTM，CNN或自我注意力）如何影响最终任务的准确性和学习到的表征的定性属性。我们表明，速度和准确性之间存在权衡，但所有架构都能学习高质量的上下文表示，在四个具有挑战性的NLP任务中表现优于词嵌入。此外，所有架构都学习随网络深度而变化的表示，从基于词嵌入层的专有形态，到基于较低上下文层的局部语法，再到更长范围的语义，如上层的共指。总之，这些结果表明，独立于架构的无监督biLM正在学习比以前更多的语言结构。
2018-09-27 cs.CL
Bootstrapping Multilingual AMR with Contextual Word Alignments
University of Pennsylvania（宾夕法尼亚大学）；IBM Research（IBM研究院）
我们开发了高性能的多语言抽象意义表示（AMR）系统，通过投影英语AMR注释到其他语言的弱监督。我们通过引导基于transformer的多语言词嵌入来实现这一目标，特别是那些来自跨语言RoberTa（XLM-R large）的词嵌入。我们开发了一种新的技术，用于外国文本到英语AMR对齐，使用英语和外语标记之间的上下文单词对齐。这种词对齐是弱监督的，依赖于上下文化的XLM-R词嵌入。我们实现了非常有竞争力的性能，超过了德语，意大利语，西班牙语和中文的最佳结果。
2021-02-03 cs.AI cs.CL
Contextualized Word Embeddings Encode Aspects of Human-Like Word Sense Knowledge
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
理解上下文相关的词义变化是词汇支持的人类语言理解的一个关键方面。词典资源（例如，WordNet）仅捕获这种依赖于上下文的变化中的一部分;例如，它们通常不编码意义或离散词义彼此之间的相关程度。我们的工作调查了NLP的最新进展，特别是语境化的词嵌入，是否捕捉到了英语词义之间的人类特征，如一词多义和同音异义。我们收集数据的行为，基于网络的实验中，参与者提供一个词的多个WordNet意义的相关性的判断在一个二维的空间安排任务。我们发现，被试对感觉之间的相关性的判断与BERT嵌入空间中感觉之间的距离相关。Homeland sense（Homeland sense）作为哺乳动物的蝙蝠对作为运动器材的蝙蝠）在嵌入空间中比多义的（例如，鸡是动物，鸡是肉。我们的研究结果指向意义的连续空间表征的潜在效用。
2020-10-25 cs.CL
