Frequency-based Distortions in Contextualized Word Embeddings
Stanford University（斯坦福大学）
预训练数据中的词频如何影响上下文化BERT嵌入中相似性度量的行为？是否有系统的方法夸大或低估某些单词的关系？在这项工作中，我们探索的几何特征的语境化词嵌入与两个新的工具：（1）一个身份探针，预测一个词的身份使用其嵌入;（2）最小的包围球一个词的语境化表示。我们的研究结果表明，高频率和低频率的话显着不同，就其代表性的几何形状。这样的差异引入了失真：当与人类判断相比时，嵌入相似性的点估计（例如，余弦相似性）可能高估或低估两个词的语义相似性，这取决于这些词在训练数据中的频率。这对下游社会产生了影响：BERT-Base在区分南美和非洲国家方面比北美和欧洲国家更困难。我们发现，这些失真持续使用BERT多语言时，这表明他们不能很容易地固定与额外的数据，这反过来又引入了新的失真。
2021-04-17 cs.CL
Topic Modeling with Contextualized Word Representation Clusters
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Cornell University（康奈尔大学）
聚类标记级上下文化单词表示产生的输出与英语文本集合的主题模型有许多相似之处。与词汇级词嵌入的聚类不同，所得到的模型更自然地捕获多义词，并且可以用作组织文档的一种方式。我们评估从流行的上下文语言模型的几个不同的输出层训练的标记聚类。我们发现，BERT和GPT-2产生高质量的聚类，但ROBERTa不。这些聚类模型简单、可靠，即使不比LDA主题模型更好，也能表现得很好，即使主题数量相对于本地集合的大小很大，也能保持高主题质量。
2020-10-23 cs.CL
Contextualized Word Vector-based Methods for Discovering Semantic Differences with No Training nor Word Alignment
Konan University（甲南大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；Tokyo University of Foreign Studies（东京外国语大学）；University of Tokyo（东京大学）
本文提出基于上下文化词向量范数的方法，无需训练和词对齐即可发现两个语料库中词语的语义差异，在母语与非母语及历史语料库中验证了其对语料规模偏斜的鲁棒性及低频词检测能力。
2023-05-19 cs.CL
The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations
Télécom-Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院）；INRIA（法国国家信息与自动化研究所）
本文研究语言模型中未登录词被切分为子词后如何获得单向量表示，并通过语义相似性任务评估不同模型嵌入质量，发现被切分词的表示通常但并非总是更差，且其相似度值需谨慎解读。
2024-02-22 cs.CL
Robust Chinese Word Segmentation with Contextualized Word Representations
National Taiwan University（台湾大学）
近年来，基于神经网络的分词方法提出后，中文分词任务的准确率有了很大的提高。然而，在处理词汇表外的单词时，仍然存在很大的出错率。我们使用简单的双向LSTM架构和大规模预训练的语言模型来生成高质量的上下文化字符表示，成功地减少了汉字中广泛出现的每个汉字的歧义的弱点，从而有效地降低了OOV的出错率。在许多数据集上实现了最先进的性能。
2019-01-17 cs.CL
Improving Chemical Named Entity Recognition in Patents with Contextualized Word Embeddings
The University of Melbourne（墨尔本大学）；Elsevier（爱思唯尔）
化学专利是重要的化学信息资源。然而，很少有化学命名实体识别（NER）系统已被评估的专利文件，部分原因是其结构和语言的复杂性。在本文中，我们探讨了NER性能的BiLSTM-CRF模型利用预训练的词嵌入，字符级的词表示和上下文ELMo词表示化学专利。我们比较了在生物医学和化学专利语料库上预训练的词嵌入。还探讨了针对化学领域优化的标记器对化学专利中NER性能的影响。两个专利语料库的结果表明，从ELMo生成的上下文化的词表示大大提高化学NER性能w.r.t.我们还表明，特定领域的资源，如词嵌入培训的化学专利和化学特定的标记器对NER性能有积极的影响。
2019-07-05 cs.CL
Incremental Sense Weight Training for the Interpretation of Contextualized Word Embeddings
EMORY University（埃默里大学）
我们提出了一种新的在线算法，学习词嵌入中的每个维度的本质，通过最小化上下文嵌入组的组内距离。使用三种最先进的基于神经的语言模型Flair、ELMo和BERT来生成上下文化的词嵌入，以便为相同的词类型生成不同的嵌入，这些嵌入通过SemCor数据集中手动注释的含义进行分组。我们假设并非所有维度对于下游任务都同样重要，以便我们的算法可以检测不必要的维度并丢弃它们，而不会损害性能。为了验证这一假设，我们首先掩模尺寸确定不必要的我们的算法，应用掩蔽的词嵌入的词义消歧任务（WSD），并比较其性能对一个实现的原始嵌入。几个KNN的方法进行了实验，以建立强大的基线WSD。我们的研究结果表明，掩蔽的词嵌入不损害性能，可以提高3%。我们的工作可以用来进行未来的上下文嵌入的可解释性的研究。
2020-05-23 cs.CL
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich（慕尼黑大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
单词对齐对于统计和神经机器翻译（NMT）以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好，NMT中提取对齐与翻译的方法也是如此。然而，大多数方法需要并行的训练数据，并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建，而不依赖于任何并行数据或字典。我们发现，与传统统计对齐器产生的对齐相比，从嵌入创建的对齐对于四种语言对是优越的，并且对于两种语言对是可比的，即使具有丰富的并行数据;例如，语境化嵌入实现了英语-德语的单词对齐F1，比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
Keyphrase Extraction from Scholarly Articles as Sequence Labeling using Contextualized Embeddings
NUS（新加坡国立大学）；Bloomberg（彭博）；MIDAS-IIIT-Delhi（德里印德拉普拉斯塔信息技术学院MIDAS）
在本文中，我们制定了从学术文章中提取关键词作为一个序列标签任务解决使用BiLSTM-CRF，在输入文本中的单词表示使用深上下文嵌入。我们在三个不同的基准数据集（Inspec，SemEval 2010，SemEval 2017）上使用上下文化和固定的词嵌入模型来评估所提出的架构，并与现有流行的无监督和监督技术进行比较。我们的研究结果量化的好处（a）使用语境化的嵌入（例如BERT）固定的词嵌入（例如手套）;（b）使用BiLSTM-CRF架构与语境化的词嵌入直接微调的语境化的词嵌入模型，（c）使用特定体裁的语境化的嵌入（SciBERT）。通过错误分析，我们还提供了一些关于为什么特定模型比其他模型更好的见解。最后，我们提出了一个案例研究，我们分析了两个最好的模型（BERT和SciBERT）的不同的自我注意层，以更好地理解每个关键词提取任务的预测。
2019-10-19 cs.CL
Vec2Gloss: definition modeling leveraging contextualized vectors with Wordnet gloss
National Taiwan University（台湾大学）
本文提出Vec2Gloss模型，利用中文Wordnet释义模式从上下文嵌入生成词语定义，并设计依存性指标分析生成文本，为上下文嵌入的词汇语义应用提供新视角。
2023-05-29 cs.CL
Contextualized Word Representations for Reading Comprehension
Tel-Aviv University（特拉维夫大学）
最近，阅读文档并提取关于其内容的问题的答案引起了大量关注。虽然大多数工作都集中在问题和文件之间的相互作用，在这项工作中，我们评估的重要性时，独立处理的问题和文件的上下文。我们为此任务采用标准神经架构，并表明通过从大型预训练语言模型提供丰富的上下文化单词表示，以及允许模型在上下文相关和上下文无关的单词表示之间进行选择，我们可以获得显着的改进，并达到与竞争SQuAD数据集上最先进的性能相当的性能。
2018-09-04 cs.CL
Classification and Clustering of Arguments with Contextualized Word Embeddings
Technische Universität Darmstadt（达姆施塔特工业大学）
我们实验了两个最近的上下文词嵌入方法（ELMo和BERT）的背景下，开放域的参数搜索。这是第一次，我们展示了如何利用上下文化词嵌入的力量来分类和聚类主题相关的参数，在两个任务和多个数据集上都取得了令人印象深刻的结果。对于论点分类，我们将UKP句子论点挖掘语料库的最新技术提高了20.8个百分点，将IBM Debater - Evidence Sentences数据集的最新技术提高了7.4个百分点。对于未充分研究的论点聚类任务，我们提出了一个预训练步骤，在新数据集上比强基线提高了7.8个百分点，在论点方面相似性（AFS）语料库中提高了12.3个百分点。
2019-06-24 cs.CL
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection
Cardiff University（卡迪夫大学）；Université d’Artois（阿图瓦大学）；CRIL-CNRS（法国国家科学研究中心计算机与自动化研究所）
词汇语义学的一个长期存在的挑战在于学习反映其语义属性的词的表示。词嵌入在这方面的显著成功表明，通过总结词提及的句子上下文可以获得高质量的表示。在本文中，我们提出了一种学习单词表示的方法，遵循这一基本策略，但在两个重要方面不同于标准的词嵌入。首先，我们利用上下文化的语言模型（CLM），而不是词向量袋编码上下文。其次，我们不是直接学习单词向量，而是使用主题模型来划分单词出现的上下文，然后为每个单词学习不同的主题特定向量。最后，我们使用一个特定于任务的监督信号，使软选择的结果向量。我们发现，这种简单的策略导致高质量的词向量，这是更预测的语义属性比词嵌入和现有的CLM为基础的战略。
2021-06-15 cs.CL
Contextualized Sensorimotor Norms: multi-dimensional measures of sensorimotor strength for ambiguous English words, in context
University of California, San Diego（加州大学圣迭戈分校）
大多数大语言模型都是在语言输入的基础上训练的，但人类似乎是在感觉运动经验中理解单词的。一个自然的解决方案是用人类对单词的感觉运动关联的判断来增强LM表示（例如，兰开斯特感觉运动规范），但这提出了另一个挑战：大多数单词是模糊的，并且孤立地对单词的判断不能解释这种意义的多样性（例如，"木桌"与"数据表"）。我们试图解决这个问题，通过建立一个新的词汇资源的语境化感觉运动判断的112个英语单词，每个在四个不同的背景下（448句）。我们表明，这些评级编码重叠，但不同的信息从兰开斯特感觉运动规范，他们也预测其他措施的兴趣（例如，相关性），高于和超出从BERT得出的测量。除了阐明理论问题之外，我们建议这些评级可以作为研究人员建立接地语言模型的"挑战集"。
2022-03-10 cs.CL
A Comparison of Architectures and Pretraining Methods for Contextualized Multilingual Word Embeddings
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
在多语言自然语言处理（NLP）领域中，缺乏许多语言的注释数据是一个众所周知的挑战。因此，最近的许多研究集中在zero-shot迁移学习和跨语言的联合训练，以克服低资源语言的数据稀缺性。在这项工作中，我们（i）执行命名实体识别（NER）和词性（POS）标记任务的最先进的多语言单词和句子编码器的全面比较;和（ii）提出了一种新的方法，用于创建多语言上下文词嵌入，将其与多个基线进行比较，并显示它在zero-shot传输设置中的最先进水平或以上。最后，我们表明，我们的方法可以更好地在联合培训设置跨语言的知识共享。
2019-12-15 cs.CL
Gender Bias in Contextualized Word Embeddings
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Virginia（弗吉尼亚大学）；University of Cambridge（剑桥大学）
在本文中，我们量化，分析和减轻ELMo的语境化词向量中表现出的性别偏见。首先，我们进行了几个内在的分析，发现（1）训练数据ELMo包含显着更多的男性比女性实体，（2）训练ELMo嵌入系统编码性别信息和（3）ELMo不平等地编码性别信息的男性和女性实体。然后，我们表明，一个国家的最先进的共指系统，依赖于ELMo继承其偏见，并表现出显着的偏见WinoBias探测语料库。最后，我们探索了两种方法来减轻这种性别偏见，并表明WinoBias上的偏见可以消除。
2019-04-05 cs.CL
BERTRAM: Improved Word Embeddings Have Big Impact on Contextualized Model Performance
Sulzer GmbH（苏尔寿有限公司）；LMU Munich（慕尼黑大学）
预训练深度语言模型使NLP的性能大幅提升。尽管取得了这一成功，Schick和Schütze（2020）最近表明，这些模型很难理解罕见的单词。对于静态词嵌入，这个问题已经通过单独学习稀有词的表示来解决。在这项工作中，我们将这一想法转移到预训练的语言模型中：我们引入了BERTRAM，这是一种基于BERT的强大架构，能够推断出适合作为深度语言模型输入表示的稀有单词的高质量嵌入。这是通过使单词的表面形式和上下文在深层架构中相互作用来实现的。将BERTRAM集成到BERT中会导致性能大幅提高，这是由于在稀有词探测任务和三个下游任务上稀有和中频词的表示得到了改进。
2020-04-29 cs.CL
Contextualized Word Embeddings Encode Aspects of Human-Like Word Sense Knowledge
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
理解上下文相关的词义变化是词汇支持的人类语言理解的一个关键方面。词典资源（例如，WordNet）仅捕获这种依赖于上下文的变化中的一部分;例如，它们通常不编码意义或离散词义彼此之间的相关程度。我们的工作调查了NLP的最新进展，特别是语境化的词嵌入，是否捕捉到了英语词义之间的人类特征，如一词多义和同音异义。我们收集数据的行为，基于网络的实验中，参与者提供一个词的多个WordNet意义的相关性的判断在一个二维的空间安排任务。我们发现，被试对感觉之间的相关性的判断与BERT嵌入空间中感觉之间的距离相关。Homeland sense（Homeland sense）作为哺乳动物的蝙蝠对作为运动器材的蝙蝠）在嵌入空间中比多义的（例如，鸡是动物，鸡是肉。我们的研究结果指向意义的连续空间表征的潜在效用。
2020-10-25 cs.CL
The Low-Dimensional Linear Geometry of Contextualized Word Representations
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
黑盒探测模型可以从预先训练的单词表示中可靠地提取时态、数字和句法角色等语言特征。然而，这些特征在表征中编码的方式仍然知之甚少。我们提出了一个系统的研究ELMO和BERT的语境化的词表示的线性几何。我们表明，各种语言特征（包括结构化的依赖关系）编码在低维子空间。然后，我们细化这个几何图片，显示有层次的子空间之间的关系编码一般的语言类别和更具体的，低维特征编码分布，而不是对齐到单个神经元。最后，我们证明了这些线性子空间是因果关系模型的行为，并可以用来执行细粒度的操作BERT的输出分布。
2021-09-14 cs.CL
Deep contextualized word representations
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
我们引入了一种新型的深度上下文化单词表示，其对（1）单词使用的复杂特征（例如，句法和语义），以及（2）这些使用如何在语言环境中变化（即，polysemy）。我们的词向量是深度双向语言模型（biLM）内部状态的学习函数，该模型是在大型文本语料库上预先训练的。我们表明，这些表示可以很容易地添加到现有的模型，并显着提高了最先进的六个具有挑战性的NLP问题，包括问答，文本蕴涵和情感分析。我们还提出了一个分析，表明暴露预训练网络的深层内部是至关重要的，允许下游模型混合不同类型的半监督信号。
2018-03-22 cs.CL
Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis
UC San Diego（加州大学圣迭戈分校）
本文构建西班牙语歧义名词最小对句及人类相关性判断数据集，系统评估单语与多语BERT模型的语境化语义表征，揭示其与模型规模、架构层级及训练规格的关系。
2025-03-12 cs.CL
Contextualized Spoken Word Representations from Convolutional Autoencoders
Shiv Nadar University（希夫·纳达尔大学）
人们已经做了大量的工作来构建基于文本的语言模型来执行不同的NLP任务，但是在基于音频的语言模型的情况下还没有做太多的研究。本文提出了一种基于卷积自动编码器的神经架构，以模拟不同长度的口语单词的语法和语义适当的上下文表示。使用这种表示不仅可以在基于音频的NLP任务中取得巨大进步，而且还可以在将语音转换为文本以执行这些任务时减少音调，表情，口音等信息的丢失。该模型的性能通过以下方式进行验证：（1）检查生成的向量空间，以及（2）评估其在三个用于测量单词相似性的基准数据集上的性能，与现有广泛使用的基于文本的语言模型进行比较。与其他两种基于语言的模型相比，该模型能够证明其鲁棒性。
2020-09-29 cs.CL
Contextualized Word Embeddings Enhanced Event Temporal Relation Extraction for Story Understanding
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
学习事件之间的因果关系和时间关系是深入了解故事和常识的重要一步。虽然有丰富的数据集与事件关系的故事理解，许多没有经验的结果与他们相关联。在这项工作中，我们建立了强大的基线事件的时间关系抽取两个欠开发的故事叙事数据集：丰富的事件描述（RED）和因果和时间关系计划（CaTeRS）。据我们所知，这是在这两个数据集上报告的第一个结果。我们证明了基于神经网络的模型可以优于一些强大的传统的基于语言特征的模型。我们还进行了比较研究，以显示的贡献，采用语境化的词嵌入（BERT）的事件时间关系抽取的故事。提供详细的分析，以更好地了解结果。
2019-04-26 cs.CL
Deep contextualized word representations for detecting sarcasm and irony
University of Innsbruck（因斯布鲁克大学）；The University of Tokyo（东京大学）
预测上下文相关的和非字面的话语，如讽刺和讽刺的表达仍然是NLP中一项具有挑战性的任务，因为它超越了语言模式，包括常识和共享知识作为关键组成部分。为了捕捉复杂的形态句法特征，通常可以作为指标的讽刺或讽刺的动态背景下，我们提出了一个模型，使用字符级矢量表示的话，ELMo的基础上。我们在来自3个不同数据源的7个不同数据集上测试了我们的模型，在其中6个数据集中提供了最先进的性能，并在其他方面提供了有竞争力的结果。
2018-09-26 cs.CL
What Drives the Use of Metaphorical Language? Negative Insights from Abstractness, Affect, Discourse Coherence and Contextualized Word Representations
University of Stuttgart（斯图加特大学）
给定一个特定的语篇，哪些语篇属性触发了隐喻语言的使用，而不是使用字面上的替代？例如，是什么驱使人们在特定的语境中说“领会意思”而不是“理解意思”？许多自然语言处理隐喻语言的方法依赖于认知和（心理）语言学的见解，并成功地定义了语篇连贯性，抽象性和情感的模型。在这项工作中，我们建立了五个简单的模型依赖于既定的认知和语言属性-频率，抽象性，影响，话语连贯性和语境化的词表示-预测使用的隐喻与同义的字面表达在上下文中。通过比较模型的输出与人类的判断，我们的研究表明，我们选择的属性不足以系统地解释隐喻与字面语言的选择。
2022-05-23 cs.CL
Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
诸如由ELMo提供的上下文化词嵌入（CWE）（Peters等人，2018），Flair NLP（Akbik et al.，2018）或BERT（Devlin et al.，2019）是NLP最近的一项重大创新。CWE根据其各自的上下文提供单词的语义向量表示。它们相对于静态词嵌入的优势已经在许多任务中表现出来，例如文本分类、序列标记或机器翻译。由于相同词类型的向量可以根据相应的上下文而变化，因此它们隐含地提供了词义消歧（WSD）的模型。我们介绍了一个简单而有效的方法，WSD使用最近邻分类CWE。我们比较了不同CWE模型的性能，并报告了两个标准WSD基准数据集的改进情况。我们进一步表明，预训练的BERT模型能够将多义词放置到嵌入空间的不同“意义”区域中，而ELMo和Flair NLP似乎不具备这种能力。
2019-10-01 cs.CL
Retrofitting Contextualized Word Embeddings with Paraphrases
University of California Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加利福尼亚大学）；University of Pennsylvania（宾夕法尼亚大学）
语境化的词嵌入模型，如ELMo，生成词及其语境的有意义的表示。这些模型已被证明对下游应用有很大的影响。然而，在许多情况下，当上下文被释义时，单词的上下文化嵌入发生了巨大的变化。因此，下游模型对释义和其他语言变体不具有鲁棒性。为了提高语境化词嵌入模型的稳定性，我们提出了一种利用释义语境来改进语境化嵌入模型的方法。我们的方法学习输入空间上的正交变换，其旨在最小化释义上下文上的单词表示的方差。实验表明，改进后的模型在各种句子分类和语言推理任务上的性能明显优于原始ELMo。
2019-09-12 cs.AI cs.CL
Evaluating the Underlying Gender Bias in Contextualized Word Embeddings
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
性别偏见严重影响着自然语言处理应用。词嵌入已被明确证明既保持又放大了当前数据源中存在的性别偏见。最近，上下文化的词嵌入通过计算依赖于它们出现在其中的句子的词向量表示来增强先前的词嵌入技术。在本文中，我们研究的影响，这种概念的变化，在词嵌入计算与性别偏见。我们的分析包括不同的措施，以前在文献中应用到标准的词嵌入。我们的研究结果表明，语境化的词嵌入是更少的偏见比标准的，即使后者是去偏见。
2019-04-18 cs.CL cs.LG
Towards Detection of Subjective Bias using Contextualized Word Embeddings
NSIT Delhi（德里内塔吉·苏巴斯理工学院）；IIIT Hyderabad（海得拉巴印度信息技术学院）
主观偏见检测对于宣传检测、内容推荐、情感分析和偏见中和等应用至关重要。这种偏见是通过煽动性的词语和短语在自然语言中引入的，对事实产生怀疑，并预先假定真相。在这项工作中，我们使用基于BERT的模型在维基中立语料库（WNC）上进行全面的实验来检测主观偏见。数据集由$360k$标记的实例组成，这些实例来自维基百科编辑，删除了各种偏倚实例。我们进一步提出了基于BERT的合奏，优于国家的最先进的方法，如$BERT_{large}$的利润率为$5.6$ F1分数。
2020-02-16 cs.CL
Predicting Prosodic Prominence from Text with Pre-trained Contextualized Word Representations
University of Helsinki（赫尔辛基大学）；Basement AI（Basement人工智能）
在本文中，我们介绍了一个新的自然语言处理数据集和基准预测韵律突出从书面文本。据我们所知，这将是最大的公开可用的韵律标签数据集。我们详细描述了数据集的建设和由此产生的基准数据集和训练一些不同的模型，从基于特征的分类器，神经网络系统的离散韵律突出的预测。我们表明，预先训练的上下文单词表示从BERT优于其他模型，即使不到10%的训练数据。最后，我们讨论了数据集的结果，并指出未来的研究和计划，进一步改善数据集和方法预测韵律突出从文本。模型的数据集和代码是公开的。
2019-08-06 cs.CL
IIIDYT at IEST 2018: Implicit Emotion Classification With Deep Contextualized Word Representations
Graduate School of Engineering（工学研究生院）；The University of Tokyo（东京大学）
在本文中，我们描述了我们为WASSA 2018内隐情感共享任务（IEST）设计的系统，该系统在26支球队中获得了2个$^{\text{nd}}$名额，测试宏F1得分为$0.710$。该系统由用于编码单词的单个预训练ELMo层、用于用上下文丰富单词表示的双向长短记忆网络BiLSTM、用于从所述单词向量创建句子表示的最大池化操作以及用于将句子表示投影到标签空间中的密集层组成。我们的正式提交是通过将这些模型中的6个模型集成在一起获得的，这些模型使用不同的随机种子进行初始化。复制这篇论文的代码可以在https://github.com/jabalazs/implicit_emotion上找到。
2018-09-01 cs.CL
A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change
University of Milan（米兰大学）；University of Gothenburg（哥德堡大学）
该研究针对词汇语义变化研究中性能比较受设置差异干扰的问题，在同等条件下系统对比多类上下文化词嵌入模型，验证了APD、XL-LEXEME的性能优势，并指出未来需关注词义变化的过程与动因而非仅变化程度。
2024-03-08 cs.CL
A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）
我们使用的多语言OSCAR语料库，通过语言分类，过滤和清洗，从公共爬行提取，训练单语上下文词嵌入（ELMo）的五个中间资源语言。然后，我们比较了基于OSCAR和基于维基百科的ELMo嵌入这些语言的词性标记和解析任务的性能。我们发现，尽管在基于Common-Crawl的OSCAR数据中存在噪声，但在OSCAR上训练的嵌入比在维基百科上训练的单语嵌入表现得更好。它们实际上等于或改进了所有五种语言的标记和解析的当前技术水平。特别是，它们还改进了基于多语言维基百科的上下文嵌入（多语言BERT），这几乎总是构成了以前的最新技术水平，从而表明更大，更多样化的语料库的好处超过了多语言嵌入架构的跨语言好处。
2020-06-18 cs.CL
HHMM at SemEval-2019 Task 2: Unsupervised Frame Induction using Contextualized Word Embeddings
University of Hamburg（汉堡大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；University of Mannheim（曼海姆大学）；Samsung R&D Institute Russia（三星俄罗斯研发中心）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
我们提出了我们的语义框架归纳系统，该系统在子任务B.1中表现出最佳性能，并在SemEval 2019任务2的子任务A中获得亚军（QasemiZadeh等人，2019年）。我们的方法将这个任务分为两个独立的步骤：动词聚类使用词和它们的上下文嵌入和角色标签结合这些嵌入与句法特征。这些步骤的简单组合显示出非常有竞争力的结果，并且可以扩展到处理其他数据集和语言。
2019-05-05 cs.CL
Contextualized word senses: from attention to compositionality
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)（智能技术卓越研究中心（CiTIUS））；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
本文提出一种基于语义组合性、依存关系和选择偏好的透明可解释词义编码策略，并在词义相似度任务上与Transformer对比，证明语言学驱动模型可达到有竞争力的效果。
2023-12-01 cs.CL
Towards Better UD Parsing: Deep Contextualized Word Embeddings, Ensemble, and Treebank Concatenation
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
本文介绍了我们的系统（HIT-SCIR）提交给CoNLL 2018共享任务从原始文本到通用语法的多语言解析。我们的提交基于斯坦福大学的CoNLL 2017共享任务的获奖系统，并进行了两个有效的扩展：1）将深度上下文化的词嵌入纳入词性标记器和解析器; 2）集成使用不同初始化训练的解析器。我们还探讨了不同的方式连接树库进一步改进。开发数据上的实验结果表明了我们方法的有效性。在最后的评估中，我们的系统根据LAS（75.84%）排名第一，并大大优于其他系统。
2018-07-30 cs.CL
InvBERT: Reconstructing Text from Contextualized Word Embeddings by inverting the BERT pipeline
Trier University（特里尔大学）
本文提出InvBERT方法，通过逆转BERT流程从上下文化词嵌入中重构原始文本，揭示了发布此类嵌入存在版权泄露风险。
2022-12-22 cs.CL
Measuring Bias in Contextualized Word Representations
Carnegie Mellon University（卡内基梅隆大学）
诸如BERT的上下文词嵌入在许多NLP任务中已经实现了最先进的性能。由于它们被优化以捕获训练数据的统计特性，因此它们也倾向于拾取和放大数据中存在的社会刻板印象。在这项研究中，我们（1）~提出了一种基于模板的方法来量化BERT中的偏见;（2）~表明这种方法在捕获社会偏见方面比传统的基于余弦的方法获得了更一致的结果;（3）~进行了一项案例研究，评估性别代词解决的下游任务中的性别偏见。虽然我们的案例研究侧重于性别偏见，但所提出的技术可以推广到揭示其他偏见，包括在多类环境中，如种族和宗教偏见。
2019-06-18 cs.CL
What do you learn from context? Probing for sentence structure in contextualized word representations
Google AI Language；Johns Hopkins University（约翰斯·霍普金斯大学）；Swarthmore College（斯沃斯莫尔学院）；New York University（纽约大学）；Brown University（布朗大学）
诸如ELMo（Peters等人，2018 a）和BERT（Devlin等人，2018）最近在一系列下游NLP任务上取得了最先进的成果。基于最近的标记级探测工作，我们引入了一种新的边缘探测任务设计，并从传统的结构化NLP管道中构建了一系列广泛的子句子任务。我们从四个最近的模型中探索词级上下文表示，并研究它们如何在一系列句法，语义，局部和远程现象中编码句子结构。我们发现，在语言建模和翻译上训练的现有模型对句法现象产生了强有力的表示，但在非上下文基线上对语义任务只提供了非常小的改进。
2019-05-15 cs.CL
Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个广泛的评估，最近提出的三种方法，在89个语料库中的54种语言的通用嵌入2.3在三个任务：词性标注，词形还原，和依存句法分析的上下文嵌入。采用BERT，Flair和ELMo作为UDPipe 2.0强基线的预训练嵌入输入，UDPipe 2.0是CoNLL 2018共享任务的最佳系统之一，也是EPE 2018的总冠军，我们对三种上下文化的词嵌入方法进行了一对一的比较，以及与word2vec类预训练嵌入和与端到端字符级词嵌入的比较。我们报告了所有三个任务的最新结果，与CoNLL 2018共享任务中UD 2.2的结果相比。
2019-08-20 cs.CL
A graph-based analysis of semantic types and coercion in contextualized word embeddings
Heinrich Heine University Düsseldorf（杜伊斯堡-埃森海因rich-海因大学）
提出基于图的方法，利用邻居类型概率和熵指标分析BERT及增强词嵌入中名词的语义类型匹配与强制现象。
2026-05-22 cs.CL
Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence
Bocconi University（博科尼大学）；University of Milan-Bicocca（米兰比可卡大学）
主题模型从文档中提取单词组，将其解释为主题有望更好地理解数据。然而，由此产生的词组往往是不连贯的，使他们更难解释。最近，神经主题模型在整体连贯性方面有所改善。同时，上下文嵌入总体上推进了神经模型的发展。在本文中，我们结合上下文表示与神经主题模型。我们发现，我们的方法比传统的词袋主题模型和最近的神经模型产生更有意义和连贯的主题。我们的研究结果表明，未来的改进语言模型将转化为更好的主题模型。
2021-06-17 cs.CL
CWTM: Leveraging Contextualized Word Embeddings from BERT for Neural Topic Modeling
University of Warwick（华威大学）；King’s College London（伦敦国王学院）；The Alan Turing Institute（阿兰·图灵研究所）
针对传统主题模型依赖词袋表示的局限，提出整合BERT上下文化词嵌入的CWTM神经主题模型，可无BOW学习文档及词级主题向量，生成更连贯有意义的主题且适配未登录词。
2024-03-06 cs.AI cs.CL
Multi-Task Learning with Contextualized Word Representations for Extented Named Entity Recognition
Ohio State University（俄亥俄州立大学）；Alt Inc（Alt公司）；University of Liverpool（利物浦大学）；Nagoya University（名古屋大学）；Riken AIP（理化学研究所先进智能项目中心）
细粒度命名实体识别（FG-NER）对于许多自然语言处理应用是至关重要的。虽然经典的命名实体识别（NER）已经吸引了大量的研究，FG-NER仍然是一个开放的研究领域。FG-NER的当前最先进的（SOTA）模型严重依赖于人工构建字典和设计手工制作的功能。与FG-NER的SOTA模型相比，实现NER的SOTA结果的端到端框架没有得到竞争结果。在本文中，我们研究如何有效的多任务学习方法是在一个端到端的框架FG-NER在不同的方面。我们的实验表明，使用多任务学习方法和上下文单词表示可以帮助端到端神经网络模型实现SOTA结果，而无需使用任何额外的手动工作来创建数据和设计功能。
2019-02-26 cs.CL
Contextualized End-to-End Neural Entity Linking
BlackRock（贝莱德）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了另一种实体链接模型（YELM），它将单词链接到实体，而不是跨度。这克服了与选择好的候选提及跨度相关联的任何困难，并且使得提及检测（MD）和实体消歧（ED）的联合训练容易成为可能。我们的模型是基于BERT，并产生上下文化的词嵌入，这是对联合MD和ED目标的训练。我们在几个标准的实体链接（EL）数据集上实现了最先进的结果。
2020-11-07 cs.CL
Deep Contextualized Word Embeddings in Transition-Based and Graph-Based Dependency Parsing -- A Tale of Two Parsers Revisited
Uppsala University（乌普萨拉大学）
基于转换和基于图的依赖解析器先前已被证明具有互补的优势和弱点：基于转换的解析器利用丰富的结构特征，但遭受错误传播，而基于图的解析器受益于全局优化，但具有有限的功能范围。在本文中，我们表明，即使切换到神经网络和连续表示后，图片的一些细节发生了变化，丰富的功能和全局优化之间的基本权衡仍然基本相同。此外，我们表明，深度上下文化的词嵌入，它允许解析器将有关全局句子结构的信息打包到本地特征表示中，使基于转换的解析器比基于图的解析器更受益，使得这两种方法在准确性和错误率方面几乎等同。我们认为，原因是，这些表示有助于防止搜索错误，从而使过渡为基础的解析器，以更好地利用其固有的优势，作出准确的本地决策。我们支持这一解释的错误分析13种语言的解析实验。
2019-08-27 cs.CL
"The Boating Store Had Its Best Sail Ever": Pronunciation-attentive Contextualized Pun Recognition
University of California, Los Angeles（加州大学洛杉矶分校）
幽默在人类语言中扮演着重要的角色，在构建智能系统时对幽默进行建模是必不可少的。在各种幽默形式中，双关语利用双关语和语音相似度高的词语进行文字游戏，以达到幽默效果。然而，识别和建模双关语是具有挑战性的，因为双关语通常涉及隐含的语义或语音技巧。在本文中，我们提出了发音注意的语境化双关语识别（PCPR）来感知人类的幽默，检测句子中是否包含双关语，并将它们定位在句子中。PCPR通过捕获周围上下文与其对应的音标之间的关联来导出句子中每个单词的上下文化表示。在两个基准数据集上进行了大量的实验。实验结果表明，该方法在双关语检测和定位任务中的性能明显优于现有的方法。深入的分析验证了PCPR的有效性和鲁棒性。
2020-04-29 cs.CL
Span-Aggregatable, Contextualized Word Embeddings for Effective Phrase Mining
Genesys（晶讯科技）
针对含噪上下文下单向量句子表示短语检索效果差、多跨度表示计算成本高的问题，提出可聚合的上下文感知词嵌入方法，通过改进对比损失实现，在自建数据集上以低计算量提升了短语挖掘效果。
2024-05-12 cs.CL
Learning Taxonomies of Concepts and not Words using Contextualized Word Representations: A Position Paper
Institute for Web Science and Technologies (WeST), University of Koblenz-Landau（科布伦茨-兰道大学网络科学与技术研究所（WeST））；Web and Internet Science Group (WAIS), University of Southampton（南安普顿大学网络与互联网科学组（WAIS））
分类法是概念的语义层次。当前分类学学习系统的一个局限性是它们将概念定义为单个词。这份立场文件认为，语境化的词表示，最近取得了国家的最先进的成果，许多竞争性的NLP任务，是一个很有前途的方法来解决这一限制。我们概述了一种新的分类学学习方法，（1）将概念定义为同义词集，（2）学习基于密度的上下文单词表示近似，（3）可以测量它们之间的相似性和上位性。
2019-01-31 cs.AI cs.CL cs.LG
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
语境化的词表示，如ELMo和BERT，表现出良好的各种语义和句法任务。在这项工作中，我们解决了神经语言表示中语义和结构之间的无监督解开的任务：我们的目标是学习上下文化向量的转换，丢弃词汇语义，但保留结构信息。为此，我们自动生成结构相似但语义不同的句子组，并使用度量学习方法来学习强调编码在向量中的结构成分的转换。我们证明了我们的转换集群向量在空间中的结构属性，而不是词汇语义。最后，我们证明了我们的蒸馏表示的效用，表明他们优于原来的上下文表示在一个Few-Shot解析设置。
2021-03-11 cs.CL cs.LG
Effect of Post-processing on Contextualized Word Representations
Dalhousie University（达尔豪斯大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
静态嵌入的后处理已被证明可以提高词汇和序列级别任务的性能。然而，后处理上下文嵌入是一个研究不足的问题。在这项工作中，我们质疑后处理从不同层的预训练语言模型获得的上下文嵌入的有用性。更具体地说，我们使用z分数，最小-最大归一化，并通过使用除顶部之外的所有方法去除顶部主成分来标准化单个神经元激活。此外，我们将单位长度归一化应用于单词表示。在一组不同的预训练模型上，我们证明了后处理可以解开词汇任务（如单词相似性和类比）和序列分类任务的表征中存在的重要信息。我们的研究结果提出了有趣的观点，与使用情境化表征的研究有关，并建议在应用程序中使用它们时，将z分数标准化作为一个重要步骤。
2022-09-15 cs.AI cs.CL
Combating the Curse of Multilinguality in Cross-Lingual WSD by Aligning Sparse Contextualized Word Representations
University of Szeged（塞格德大学）
本文提出结合预训练单语模型与上下文映射，利用稀疏上下文表示，在跨语言零样本WSD中平均F分数提升6.5点（62.0至68.5），并公开代码。
2023-07-25 cs.AI cs.CL
Entity-Centric Contextual Affective Analysis
Carnegie Mellon University（卡内基梅隆大学）
虽然语境化的单词表征在许多NLP任务中改善了最先进的基准，但它们对面向社会的任务的潜在有用性在很大程度上仍未被探索。我们展示了如何语境化的词嵌入可以用来捕捉人物肖像中的影响维度。我们评估我们的方法，定量，支持的影响词汇，定性，通过案例。我们发现，语境化的词表示编码有意义的影响信息，但他们严重偏向于他们的训练数据，这限制了他们的有用性，在域分析。我们最终使用我们的方法来检查男性和女性的描绘差异。
2019-06-05 cs.CL
Contextualized language models for semantic change detection: lessons learned
University of Oslo（奥斯陆大学）
我们提出了一个定性分析的（可能是错误的）输出的上下文嵌入为基础的方法检测历时语义变化。首先，我们介绍了一种集成方法优于先前描述的上下文方法。这种方法被用来作为一个深入分析的程度，语义变化预测的英语单词跨越50年的基础。我们的研究结果表明，语境化的方法往往可以预测高的变化分数的话，没有经历任何真正的历时语义转变的词典意义上的术语（或至少这些转变的状态是值得怀疑的）。这种挑战性的情况下，详细讨论了与实例，并提出了他们的语言分类。我们的结论是，预训练的上下文化语言模型容易出现词典意义的混淆变化和上下文方差的变化，这自然源于其分布性质，但与基于静态嵌入的方法中观察到的问题类型不同。此外，它们经常合并在一起的语法和语义方面的词汇实体。我们对这些问题提出了一系列可能的未来解决方案。
2022-08-31 cs.CL
