From the New World of Word Embeddings: A Comparative Study of Small-World Lexico-Semantic Networks in LLMs
School of Humanities, Tsinghua University（清华大学人文学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
本研究构建不同参数规模LLMs输入嵌入的词汇语义网络，发现其具有小世界特性，且更大规模LLMs的网络更复杂、小世界效应更弱，还通过多类分析验证了方法有效性。
2025-05-19 cs.CL
Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling
Jiangnan University（江南大学）
针对预训练语言模型黑盒结构限制可解释性的问题，提出词-上下文耦合空间（W2CSpace），通过引入联想知识网络（AKN）对齐神经表示与统计逻辑，并采用上下文相对距离作为语义特征，在多个数据集上实现了更优性能与高度可信的可解释性。
2023-06-27 cs.CL
Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
本研究针对预训练语言模型零样本词义消歧效果不佳的问题，提出基于上下文词级翻译的零样本WSD方法，在18种语言上无需微调即超越全监督基线，为利用PLM跨语言知识实现鲁棒零样本推理提供了思路。
2023-04-26 cs.CL
SWEA: Updating Factual Knowledge in Large Language Models via Subject Word Embedding Altering
National University of Defense Technology（国防科技大学）
针对局部模型编辑计算昂贵、匹配不可靠且扰动参数结构的问题，提出可拆卸可扩展的 SWEA⊕OS，通过 token 级主体词嵌入改变与优化-抑制融合实现事实知识更新，并在 CounterFact、zsRE 和 RippleEdits 上达到 SOTA。
2025-02-17 cs.AI cs.CL cs.LG
Let's Play Mono-Poly: BERT Can Reveal Words' Polysemy Level and Partitionability into Senses
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS, LISN（法国国家科学研究中心，LISN）；University of Helsinki（赫尔辛基大学）
预训练的语言模型（LM）编码了丰富的语言结构信息，但它们对词汇多义的认识仍然不清楚。我们提出了一种新的实验装置，专门训练用于不同语言（英语，法语，西班牙语和希腊语）和多语种BERT的LM分析这种知识。我们对精心设计的数据集进行分析，以反映不同的意义分布，并控制与多义词高度相关的参数，如频率和语法类别。我们证明，BERT派生的表征反映了词的多义性水平和他们的分割成意义。英语BERT嵌入中的多义词相关信息更清晰，但其他语言中的模型也设法在不同的多义词水平上建立相关的区别。我们的研究结果有助于更好地理解语境化表征中编码的知识，并为多语言词汇语义研究开辟了新的途径。
2021-04-29 cs.CL
From Words to Worlds: Transforming One-line Prompt into Immersive Multi-modal Digital Stories with Communicative LLM Agent
Rutgers University（罗格斯大学）
针对数字叙事生产可扩展性与灵活性不足的问题，本文提出StoryAgent框架，结合LLM与生成式工具，通过自上而下起草加自下而上生成资产的方式，实现多模态连贯交互式数字故事的自动化生产，无需参考视频即可生成内容，推动了自动化数字叙事发展。
2024-06-21 cs.AI cs.CL cs.GR
When Do You Need Billions of Words of Pretraining Data?
New York University（纽约大学）
NLP目前主要是通用的预训练语言模型，如RoberTa，通过对数十亿个单词进行预训练，在NLU任务上实现了强大的性能。但是，Transformer LM从大规模预训练中学到了哪些他们无法从更少的数据中学习的知识或技能？我们采用了四种探测方法-分类器探测，信息理论探测，无监督的相对可接受性判断，以及对NLU任务的微调-并绘制学习曲线，跟踪这些不同的语言能力指标相对于使用MiniBERTas的预训练数据量的增长，这是一组在1 M，10 M，100 M和1B单词上预训练的RoBERTa模型。我们发现，LM只需要大约10 M或100 M的单词来学习表示，可靠地编码我们测试的大多数句法和语义特征。为了获得掌握典型的下游NLU任务所需的足够的常识知识和其他技能，需要大量的数据。结果表明，虽然对语言特征进行编码的能力几乎肯定是语言理解所必需的，但其他形式的知识可能是大型预训练模型中语言理解最近改进的主要驱动力。
2020-11-10 cs.CL
Representing Affect Information in Word Embeddings
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
越来越多的自然语言处理（NLP）和自然语言理解（NLU）研究正在研究从大语言模型中学习或编码在词嵌入中的类人知识。这是理解语言模型捕获的知识与人类对语言和通信的理解相似的一步。在这里，我们研究了是否以及如何影响一个词的含义（即，效价、唤醒、支配）被编码在大型神经网络中预训练的词嵌入中。我们使用人类标记的数据集作为基础事实，并对四种类型的词嵌入进行了各种相关性和分类测试。这些嵌入在静态或情境化方面有所不同，以及在预训练和微调阶段对特定信息的影响程度。我们的分析表明，香草BERT模型的词嵌入没有显着编码的英语单词的情感信息。只有当BERT模型在情感相关的任务上进行了微调或包含来自情感丰富的上下文的额外上下文化信息时，相应的嵌入才能编码更多相关的情感信息。
2022-09-21 cs.CL
From Words to Worlds: Compositionality for Cognitive Architectures
该研究针对大语言模型的组合性问题，对4个家族的12个模型和3类任务开展实证分析，发现规模扩大会提升组合能力，但指令微调往往起反作用，为优化符合人类认知的大语言模型提出了待解问题。
2024-07-18 cs.AI cs.CL cs.CY
From Word to World: Can Large Language Models be Implicit Text-based World Models?
Southern University of Science and Technology（南方科技大学）；Microsoft Research（微软研究院）；University of Edinburgh（爱丁堡大学）；Princeton University（普林斯顿大学）；Oxford University（牛津大学）；University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校）；Fudan University（复旦大学）；Mind Lab
本文研究了大型语言模型在基于文本的环境中作为世界模型的可行性，通过三个评估层面验证了其在提升智能体性能方面的有效性，并明确了环境复杂性和行为覆盖对世界建模效果的影响。
2026-03-05 cs.CL
Distilling Knowledge from Pre-trained Language Models via Text Smoothing
Baidu Inc.（百度公司）
本文研究压缩预训练的语言模型，如BERT（Devlin et al.，2019），通过师生知识蒸馏。以前的工作通常迫使学生模型严格模仿教师BERT预测的平滑标签。作为替代方案，我们提出了一种新的BERT蒸馏方法，即，要求教师生成平滑的词ID而不是标签，用于在知识蒸馏中教授学生模型。我们称这种方法为文本平滑。实际上，我们使用BERT中的掩蔽语言模型（MLM）的softmax预测来生成给定文本的单词分布，并使用预测的软单词id来平滑这些输入文本。我们假设平滑后的标签和文本都可以隐式地扩充输入语料库，而文本平滑由于可以在一个神经网络前向步骤中生成更多的实例，因此直观上更有效，在GLUE和SQuAD上的实验结果表明，与现有的BERT提取方法相比，我们的解决方案可以获得有竞争力的结果。
2020-05-08 cs.CL cs.SD eess.AS
Knowledge-Base Enriched Word Embeddings for Biomedical Domain
University of Virginia（弗吉尼亚大学）
词嵌入已被证明善于捕捉自然语言文本的语义和句法语义，因此，这些表示已经发现它们在各种各样的下游内容分析任务中的效用。通常，这些词嵌入技术基于局部上下文信息导出词的分布式表示。然而，这种方法忽略了知识库中存在的丰富的显式信息。这是有问题的，因为它可能导致对具有不足的局部上下文的词（诸如领域特定词）的不良表示。此外，该问题在诸如生物医学的领域中变得明显，其中这些领域特定词的存在相对较高。为此，在这个项目中，我们提出了一个新的词嵌入为基础的生物医学领域的模型，共同利用现有的语料库和领域知识的信息，以产生知识库供电的嵌入。与现有的方法不同，所提出的方法简单，但善于捕捉领域资源中的精确知识，以准确的方式。生物医学概念相似度和相关度测试的实验结果验证了该方法的有效性。
2021-02-20 cs.AI cs.CL
KDSL: a Knowledge-Driven Supervised Learning Framework for Word Sense Disambiguation
University of Science and Technology of China（中国科学技术大学）；University of Western Sydney（西悉尼大学）；Massey University（梅西大学）
我们提出了KDSL，一个新的词义消歧（WSD）框架，利用知识自动生成的监督学习的意义标记的数据。首先，从WordNet中，我们自动构建了一个名为DisDict的语义知识库，它提供了细化的特征词，突出了词义之间的差异，即，同义词集其次，我们自动生成新的意义标记的数据DisDict从未标记的语料库。第三，这些生成的数据，连同手动标记的数据和未标记的数据，被馈送到一个神经框架进行监督和无监督学习联合建模的同义词，特征词和它们的上下文之间的语义关系。实验结果表明，KDSL优于几个代表性的国家的最先进的方法在各种主要的基准。有趣的是，即使在手动标记的数据不可用时，它也表现得相对较好，从而为缺乏手动注释的类似任务提供了潜在的解决方案。
2018-09-24 cs.AI cs.CL
RetroGAN: A Cyclic Post-Specialization System for Improving Out-of-Knowledge and Rare Word Representations
MIT Media Lab（麻省理工学院媒体实验室）；Boston University（波士顿大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Basis Technologies
改造是一种技术，用于将词向量在其空间中移动得更近或更远，以反映它们在知识库（KB）中的关系。然而，改造仅适用于该知识库中存在的概念。RetroGAN使用一对生成对抗网络（GANs）来学习概念与其改造的对应物之间的一对一映射。它应用该映射（后专门化）来处理原始知识库中没有出现的概念，其方式类似于某些自然语言系统处理词汇表外条目的方式。我们在三个单词相似性基准和下游句子简化任务上测试了我们的系统，并达到了最先进的水平（CARD-660）。总之，我们的研究结果表明，我们的系统的有效性外的知识和罕见的词概括。
2021-08-30 cs.AI cs.CL
Scientific and Technological Text Knowledge Extraction Method of based on Word Mixing and GRU
知识抽取的任务是从非结构化文本数据中抽取三元关系（头实体-关系-尾实体）。现有的知识提取方法分为“流水线”方法和联合提取方法。“流水线”方法是将命名实体识别和实体关系抽取分离，使用各自的模块进行抽取。这种方法虽然具有较好的灵活性，但训练速度较慢。联合抽取的学习模型是通过神经网络实现的端到端模型，同时实现实体识别和关系抽取，能够很好地保留实体和关系之间的关联，将实体和关系的联合抽取转化为序列标注问题。提出一种基于词混合和GRU的科技资源知识抽取方法，结合词混合向量映射方法和自注意力机制，有效提高中文科技资源文本关系抽取的效果。
2022-03-31 cs.AI cs.CL
Measuring Meaning on the World-Wide Web
Center Leo Apostel for Interdisciplinary Studies（莱奥·阿波斯泰尔跨学科研究中心）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
我们引入的概念的“意义绑定”的一个词相对于另一个词，利用万维网作为一个概念环境的意义。一个词相对于另一个词的含义是通过将包含这两个词的网页的数量的乘积乘以万维网的网页总数，并将结果除以每个单个词的网页数量的乘积来建立的。我们计算几个词的含义范围，并通过具体的例子分析这些不同的方面。
2010-06-09 cs.AI cs.CL
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University（东北大学）；Ulster University（阿尔斯特大学）
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$，头实体$h$与尾实体$t$具有关系$r$，当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$，每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的，因此这些表示不能用于检测未知事实（如果实体或关系从未出现在知识图谱中）。本文提出了一种新的方法，称为transW，旨在超越目前的工作，组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词（通常），学习从单词嵌入空间到知识嵌入空间的映射函数是明智的，它显示了如何使用人类单词构建实体。更重要的是，使用词嵌入构成知识嵌入使得处理出现的新事实（新实体或关系）成为可能。使用三个公共数据集的实验结果表明，建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Word Sense Disambiguation using Knowledge-based Word Similarity
在自然语言处理中，词义消歧（WSD）是一个悬而未决的问题，它涉及到在特定的上下文中识别单词的正确含义。为了解决这个问题，我们介绍了一种新的基于知识的WSD系统。我们建议在我们的系统中采用两种方法。首先，我们提出了一种新的方法来编码的词向量表示，考虑从词汇知识库的图形语义关系。其次，我们提出了一种方法，从文本中提取的上下文单词分析一个歧义词的词向量表示的相似性的基础上。为了验证我们的词义消歧系统的有效性，我们在五个基准英语词义消歧语料库（Senseval-02，Senseval-03，SemEval-07，SemEval-13和SemEval-15）上进行了实验。实验结果表明，所提出的方法显著提高了WSD的性能。此外，我们的系统优于现有的知识为基础的水务署系统，并表现出性能相媲美的最先进的监督水务署系统。
2020-06-22 cs.CL
From Graph to Word Bag: Introducing Domain Knowledge to Confusing Charge Prediction
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；GuangHua Law School, Zhejiang University（浙江大学光华法学院）
本文提出FWGB方法，通过构建法律知识图谱形成词袋，并扩展注意力机制与引入新损失函数，有效解决易混淆罪名预测问题，在不平衡标签分布下表现卓越。
2024-03-24 cs.AI cs.CL
WCL-BBCD: A Contrastive Learning and Knowledge Graph Approach to Named Entity Recognition
命名实体识别任务是信息抽取的核心任务之一。词汇歧义和词汇缩略是命名实体识别率低的重要原因。本文提出了一种新的命名实体识别模型WCL-BBCD（Word对比学习with BERT-BiLSTM-CRF-DBpedia），它融合了对比学习的思想。该模型首先对文本中的句子对进行训练，计算句子对之间的相似度，并根据相似度对用于命名实体识别任务的BERT进行微调，从而缓解单词歧义。然后，微调后的BERT与BiLSTM-CRF相结合，执行命名实体识别任务。最后，结合知识图谱等先验知识对识别结果进行修正，以缓解单词缩写造成的低识别率问题。在CoNLL-2003英文数据集和OntoNotes V5英文数据集上的实验结果表明，该模型的性能优于其他同类模型。
2022-08-15 cs.AI cs.CL
TreeMatch: A Fully Unsupervised WSD System Using Dependency Knowledge on a Specific Domain
University of Houston-Downtown（休斯顿市中心大学）；University of Massachusetts-Boston（马萨诸塞大学波士顿分校）
本文提出完全无监督的 WSD 系统 TreeMatch，利用面向特定领域构建的知识库中的依存知识，并在 SemEval 2010 Task 17 上取得优于最频繁选择基线的精确率。
2025-01-05 cs.AI cs.CL
Leveraging knowledge graphs to update scientific word embeddings using latent semantic imputation
Iris AI
科学文本中最有趣的词往往是新奇的或罕见的。这对科学的词嵌入模型提出了挑战，以确定不常见或新出现的有用术语的质量嵌入向量。我们演示了\gls{lsi}如何通过从最新的知识图谱中嵌入特定于领域的单词来解决这个问题，同时保留原始的词嵌入模型。我们使用MeSH知识图谱来估算生物医学术语的嵌入向量，而无需重新训练，并在特定领域的词对相似性任务上评估所得到的嵌入模型。我们表明，LSI可以产生可靠的嵌入向量，罕见的和OOV在生物医学领域的条款。
2022-10-27 cs.CL
GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge
Fudan University（复旦大学）
词义消歧（WSD）的目的是找出一个歧义词在特定语境中的确切含义。传统的有监督方法很少考虑WordNet等在基于知识的方法中被广泛使用的词汇资源。最近的研究表明，将光泽（意义定义）到神经网络的词义消歧的有效性。然而，与传统的词专家监督方法相比，它们并没有取得太大的改进。在本文中，我们专注于如何更好地利用光泽知识的监督神经词义消歧系统。我们构建上下文光泽对，并提出了三个基于BERT的模型的词义消歧。我们在SemCor3. 0训练语料库上对预训练好的BERT模型进行了微调，在多个英文全词WSD基准数据集上的实验结果表明，该方法的性能优于现有的系统。
2020-01-05 cs.CL
A Novel Word Sense Disambiguation Approach Using WordNet Knowledge Graph
Lakehead University（湖首大学）；Université Laval（拉瓦尔大学）
计算语言学和人工智能中的各种应用依赖于高性能的词义消歧技术来解决具有挑战性的任务，例如信息检索、机器翻译、问答和文档聚类。虽然文本理解对人类来说是直观的，但机器在处理和解释人类的自然语言方面面临着巨大的挑战。本文提出了一种新的基于知识的词义消歧算法，即顺序上下文相似矩阵乘法（SCSMM）。SCSMM算法结合了语义相似性、启发式知识和文档上下文，分别利用连续术语之间的局部上下文、人类关于术语的知识和文档的主要主题的优点来消除术语的歧义。与其他算法不同的是，SCSMM算法保证捕获最大的句子上下文，同时保持语句中的术语顺序。所提出的算法优于所有其他算法时，消除歧义的组合金标准数据集上的名词，同时表现出可比的结果，以目前最先进的词义消歧系统时，分别处理每个数据集。此外，本文还讨论了粒度水平，歧义率，句子大小，和部分的语音分布的性能的影响所提出的算法。
2021-01-08 cs.CL
Relational Word Embeddings
Cardiff University（卡迪夫大学）
虽然词嵌入已被证明可以隐式地编码各种形式的属性知识，但它们捕获关系信息的程度要有限得多。在以前的工作中，这个限制已经解决了从外部知识库的关系知识时，学习词嵌入。然而，这种战略可能不是最佳的，因为它们受到现有资源覆盖范围的限制，并将相似性与其他形式的相关性混为一谈。作为一种替代方案，在本文中，我们提出了一个单独的词嵌入，这是旨在补充一个给定的标准词嵌入编码的关系知识。这种关系词嵌入仍然是从共现统计学中学习的，因此即使在没有外部知识库可用时也可以使用。我们的分析表明，关系词向量确实捕获了与标准词嵌入中编码的信息互补的信息。
2019-06-04 cs.CL
KNET: A General Framework for Learning Word Embedding using Morphological Knowledge
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；Nankai University（南开大学）
神经网络技术被广泛应用于获得单词的高质量分布式表示，即，词嵌入，以解决文本挖掘、信息检索和自然语言处理任务。最近，已经提出了有效的方法来从上下文中学习词嵌入，该上下文捕获词之间的语义和句法关系。然而，它是具有挑战性的处理看不见的词或罕见的词与不足的上下文。本文受认知心理学对单词识别过程研究的启发，提出利用看似不太明显但本质上很重要的形态学知识来应对这些挑战。特别是，我们引入了一种新的神经网络架构，称为KNET，利用上下文信息和基于形态学知识构建的形态词相似性来学习词嵌入。同时，该学习架构还能够细化预定义的形态知识，获得更准确的词相似度。在类比推理任务和词相似度任务上的实验都表明，所提出的KNET框架可以大大提高词嵌入的有效性。
2014-09-05 cs.CL cs.LG
Commonsense Knowledge in Word Associations and ConceptNet
The University of Melbourne（墨尔本大学）
人类使用无数关于世界的基本共享事实来有效地在环境中导航。这种常识知识很少被明确地传达，然而，理解常识知识如何在不同的范式中表示对于更深入地理解人类认知和增强自动推理系统都很重要。本文提出了一个深入的比较两个大规模的一般知识资源：ConcpetNet，一个工程关系数据库，和SWOW的知识图谱来自群众来源的词协会。我们研究的结构，重叠和两个图之间的差异，以及在何种程度上，他们编码的情景常识知识。最后，我们的经验表明，这两种资源在常识推理基准上的下游任务性能优于纯文本基准，这表明通过众包获得的几种语言的大规模单词关联数据可以成为策划的知识图谱的有价值的补充
2021-09-20 cs.CL
A Study on Neural Network Language Modeling
本文对神经网络语言建模进行了详尽的研究。不同的架构的基本神经网络语言模型的描述和检查。研究了对基本神经网络语言模型的几种不同改进，包括重要性采样、词类、缓存和双向递归神经网络（BiRNN），并对每种技术的优缺点进行了评价。然后从模型体系结构和知识表示两个方面探讨了神经网络语言建模的局限性。当按一定的顺序逐字处理时，词序列中的部分统计信息会丢失，而神经网络的权值矩阵和权值向量的更新机制严重限制了NNLM的有效增强。对于知识表示，神经网络语言模型所表示的知识是来自某个训练数据集的词序列的近似概率分布，而不是语言本身的知识或自然语言中的词序列所传达的信息。最后，对神经网络语言建模的进一步改进方向进行了讨论。
2017-08-24 cs.AI cs.CL
Mathematical Word Problem Generation from Commonsense Knowledge Graph and Equations
TAL Education Group（好未来教育集团）
数学应用题生成在教育评价中的应用越来越受到人们的关注。与标准的自然问题生成不同，MWP生成需要维护数量和变量之间的底层数学运算，同时确保输出与给定主题之间的相关性。为了解决上述问题，我们开发了一个端到端的神经模型，从常识知识图谱和方程中生成现实世界场景中的各种MWP。所提出的模型（1）从符号方程和常识知识的边增强Levi图中学习两种表示;（2）在生成MWP时通过自规划模块自动融合方程和常识知识信息。在教育金标准集和大规模生成的MWP集上的实验表明，我们的方法在MWP生成任务上是优越的，并且在自动评估指标方面优于SOTA模型，即，BLEU-4、ROUGE-L、Self-BLEU和人工评估指标，即，等式关联、话题关联和语言连贯。为了鼓励可重复的结果，我们在\url{https://github.com/tal-ai/MaKE_EMNLP2021}上公开了我们的代码和MWP数据集。
2021-09-09 cs.AI cs.CL
Embedding Words and Senses Together via Joint Knowledge-Enhanced Training
Sapienza University of Rome（罗马大学）
词嵌入技术在自然语言处理中得到了广泛的应用，主要是因为它能从大量语料中获取语义信息。然而，它们的创建过程不允许一个词的不同含义自动分离，因为它将它们合并为一个向量。我们解决这个问题，提出了一个新的模型，学习词和意义嵌入联合。我们的模型利用大型语料库和语义网络的知识，以产生一个统一的向量空间的词和意义嵌入。我们在各种任务中定性和定量地评估了我们方法的主要特征，突出了所提出的方法与最先进的基于词和意义的模型相比的优势。
2017-06-21 cs.CL
Integration Of Visual Inter-word Constraints And Linguistic Knowledge In Degraded Text Recognition
降级文本识别是一项艰巨的任务。给定一个有噪声的文本图像，可以应用单词识别器来为每个单词图像生成几个候选。然后，可以使用高级知识源从每个单词图像的候选集合中选择决策。在本文中，我们提出，视觉字间的限制，可以用来促进候选人的选择。视觉词间约束提供了一种在文本页面内链接词图像并系统地解释它们的方法。
1994-05-06 cmp-lg cs.CL
A Few Words Can Distort Graphs: Knowledge Poisoning Attacks on Graph-based Retrieval-Augmented Generation of Large Language Models
本文提出两种针对GraphRAG的知识投毒攻击（TKPA和UKPA），证明仅修改源文本中极少数词汇即可显著改变构建的知识图谱并严重误导下游问答推理，且现有防御方法无法有效检测此类攻击。
2025-08-12 cs.AI cs.CL
Combining Knowledge- and Corpus-based Word-Sense-Disambiguation Methods
University of Alicante（阿利坎特大学）；Basque Country University（巴斯克大学）
在本文中，我们专注于解决词汇歧义时出现的一个给定的词有几个不同的含义。这个特定的任务通常被称为词义消歧（WSD）。WSD的任务包括使用电子词典作为单词定义的来源，为单词分配正确的含义。我们提出了两个词义消歧方法的基础上，在这一研究领域的两个主要方法论的方法：基于知识的方法和基于语料库的方法。我们的假设是，词义消歧需要几个知识源，以解决语义的歧义的话。这些来源可以是不同的种类-例如，组合，聚合或统计信息。我们的方法结合了各种知识来源，通过结合上述两种WSD方法。本文主要研究如何将这些方法和信息源结合起来，以达到较好的消歧效果。最后，本文提出了一个全面的研究和实验工作的评价方法及其组合。
2011-09-09 cs.CL
Supervised Fine Tuning for Word Embedding with Integrated Knowledge
Nanyang Technological University（南洋理工大学）
词的学习向量表示是一个重要的研究领域，它可以帮助许多自然语言处理任务。现有的模型都存在两个局限性，即语境定义的偏差和知识利用的不足。它们很难处理，因为这些算法本质上是无监督学习方法。受深度学习的启发，作者提出了一个用于学习单词矢量表示的监督框架，以在无监督学习之后提供额外的监督微调。该框架是知识丰富的方法，并与任何数字矢量词表示兼容。作者进行内在评价，如归因和关系相似性预测和外在评价，如句子完成和情感分析。在6个嵌入和4个任务10个数据集上的实验结果表明，所提出的微调框架可以显着提高词的向量表示的质量。
2015-05-29 cs.CL
ConceptNet at SemEval-2017 Task 2: Extending Word Embeddings with Multilingual Relational Knowledge
Luminoso Technologies, Inc.（卢米诺索技术公司）
本文介绍了Luminoso参与SemEval 2017任务2“多语言和跨语言语义词相似度”的情况，该系统基于ConceptNet。ConceptNet是一个开放的、多语言的知识图谱，它侧重于与单词和短语的含义相关的一般知识。我们提交给SemEval的是对以前工作的更新，该工作从ConceptNet和分布式语义的组合中构建高质量的多语言词嵌入。我们的系统在这两个子任务中都取得了第一名。它在5种独立语言中的4种中排名第一，并且在所有10种跨语言语言对中排名第一。
2018-12-11 cs.CL
Language Models as Knowledge Bases for Visual Word Sense Disambiguation
National Technical University of Athens（雅典国立技术大学）；School of Electrical and Computer Engineering（电气与计算机工程学院）
本文提出利用大语言模型作为知识库，通过零样本知识检索和将视觉词义消歧转换为纯文本问答问题（结合思维链提示），有效提升了视觉语言transformers的多模态检索性能。
2023-10-03 cs.AI cs.CL
ConceptNet 5.5: An Open Multilingual Graph of General Knowledge
Luminoso Technologies, Inc.（卢米诺索技术公司）；Union College（联合学院）
关于语言的机器学习可以通过提供特定的知识和外部信息源来改进。我们在这里介绍一个新版本的链接开放数据资源ConceptNet，它特别适合与现代NLP技术（如词嵌入）一起使用。ConceptNet是一个知识图谱，它将自然语言的单词和短语与标记的边连接起来。它的知识是从许多来源收集的，包括专家创建的资源，众包和有目的的游戏。它旨在表示理解语言所涉及的一般知识，通过允许应用程序更好地理解人们使用的单词背后的含义来改进自然语言应用程序。当ConceptNet与从分布式语义（如word2vec）获取的词嵌入相结合时，它为应用程序提供了理解，这些应用程序不会单独从分布式语义获取，也不会从更窄的资源（如WordNet或DBPedia）获取。我们证明了这一点与国家的最先进的内在评价的词相关性转化为改进的应用程序的词向量，包括解决SAT风格的类比。
2018-12-11 cs.CL
SLK-NER: Exploiting Second-order Lexicon Knowledge for Chinese NER
National Computer System Engineering Research Institute of China（国家计算机系统工程技术研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
虽然基于词汇的字符模型在中文命名实体识别（NER）任务中取得了令人满意的结果，但由于错误匹配的词，一些词汇词会引入错误的信息。现有的研究提出了许多整合词汇知识的策略。然而，他们进行了简单的一阶词汇知识，这提供了不足的词信息，仍然面临着匹配的词边界冲突的挑战;或探索的词汇知识与图形，其中高阶信息引入否定词可能会干扰识别。为了缓解上述局限性，我们提出了新的见解，二阶词汇知识（SLK）的每个字符在句子中提供更多的词汇信息，包括语义和词的边界特征。在此基础上，我们提出了一个基于SLK的模型与一个新的策略来整合上述词汇知识。该模型能够利用全局上下文信息挖掘出更多的词汇信息。在三个公开数据集上的实验结果证明了SLK的有效性。该模型实现了更优异的性能比国家的最先进的比较方法。
2020-07-16 cs.CL
Word Sense Disambiguation using Optimised Combinations of Knowledge Sources
除少数例外，词义消歧算法仅使用一个词汇知识源。我们描述了一个系统，它执行不受限制的词义消歧（在自由文本中的所有内容词）结合不同的知识来源：语义偏好，词典定义和主题/域代码以及部分的语音标签。这些来源的有用性通过学习算法进行优化。我们还描述了通过结合现有资源创建一个新的意义标记语料库。我们的方法在这个语料库上的测试准确率超过92%，证明了全词消歧的可行性，而不是局限于一个小样本。
1998-06-22 cmp-lg cs.CL
On the Effects of Knowledge-Augmented Data in Word Embeddings
University College London（伦敦大学学院）
本文研究了从大型无注释数据语料库中学习到的词嵌入的知识注入技术。这些表示是用词共现统计数据训练的，并且通常不利用来自语言知识库的句法和语义信息，这可能限制了它们对具有不同语言分布或用法的域的可转移性。我们提出了一种新的语言知识注入方法，通过数据增强学习词嵌入，从数据中执行语义关系，并系统地评估其对所产生的表示的影响。我们表明，我们的知识增强方法提高了学习嵌入的内在特征，同时不会显着改变下游文本分类任务的结果。
2020-10-05 cs.CL cs.LG
Knowledge Enhanced Contextual Word Representations
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of California, Irvine（加州大学欧文分校）；University of Washington（华盛顿大学）
通常在非结构化、未标记的文本上训练的上下文单词表示不包含任何对现实世界实体的明确基础，并且通常无法记住有关这些实体的事实。我们提出了一种通用的方法，将多个知识库（KBs）嵌入到大规模模型中，从而增强它们的表示与结构化，人工策划的知识。对于每个知识库，我们首先使用一个集成的实体链接器来检索相关的实体嵌入，然后通过一种形式的词到实体的注意力更新上下文单词表示。与以前的方法相比，实体链接器和自监督语言建模目标在多任务设置中进行端到端的联合训练，该设置将少量实体链接监督与大量原始文本相结合。在将WordNet和维基百科的一个子集集成到BERT中之后，知识增强的BERT（KnowBert）展示了改进的困惑度、在探测任务中测量的回忆事实的能力以及在关系提取、实体键入和词义消歧上的下游性能。KnowBert的运行时间与BERT相当，并且可以扩展到大KB。
2019-10-31 cs.CL
Enhancing Word Embeddings with Knowledge Extracted from Lexical Resources
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学 TALP 研究中心）
在这项工作中，我们提出了一个有效的方法，语义专业化的词向量表示。为此，我们使用传统的词嵌入和应用专门化方法，以更好地捕捉词之间的语义关系。在我们的方法中，我们利用外部知识丰富的词汇资源，如BabelNet。我们还表明，我们提出的基于对抗性神经网络与Wasserstein距离的后专业化方法可以在两个任务上获得比最先进方法的改进：单词相似性和对话状态跟踪。
2020-05-20 cs.CL cs.LG
Assessing the Lexico-Semantic Relational Knowledge Captured by Word and Concept Embeddings
Expert System Cogito Labs（Expert System Cogito Labs（专家系统Cogito实验室））
深度学习目前在各种NLP任务的基准测试中占据主导地位，并且在这些系统的基础上，单词经常被表示为嵌入-低维空间中的向量-从大型文本语料库中学习，并且已经提出了各种算法来学习单词和概念嵌入。这种嵌入的好处之一是它们捕获了关于语义关系的知识。这种嵌入通常是通过预测人类评价的相似性和类比等任务来评估的，这些任务只测试了一些通常定义不清的关系。在本文中，我们提出了一种方法（i）可靠地生成单词和概念对数据集的广泛数量的关系，通过使用知识图谱和（ii）评估在何种程度上预先训练的嵌入捕捉这些关系。我们对专有和公共知识图谱的方法进行评估，并分析结果，显示当前嵌入式学习方法捕获的词汇语义关系知识。
2019-09-24 cs.CL
Improving Word Vector with Prior Knowledge in Semantic Dictionary
Peking University（北京大学）；Beijing Key Laboratory of Internet Culture and Digital Dissemination Research（北京网络文化与数字传播重点实验室）
使用低维向量空间来表示单词在许多NLP任务中非常有效。然而，当遇到生僻字和未见过字的问题时，它并不能很好地工作。在本文中，我们提出利用语义词典中的知识结合一些形态信息来构建一个增强的向量空间。我们得到了2.3%的改进，比国家的最先进的海德尔时间系统在时间表达识别，并获得了很大的增益在其他名称实体识别（NER）的任务。语义词典知网单独也显示出有前途的结果，在计算词汇相似度。
2018-01-27 cs.CL
Integrating Multiple Knowledge Sources to Disambiguate Word Sense: An Exemplar-Based Approach
在本文中，我们提出了一种新的方法，词义消歧（WSD）使用基于范例的学习算法。该方法整合了多种知识源来消除词义歧义，包括相邻词的词性、形态形式、周围词的无序集合、局部搭配和动宾句法关系。我们测试了我们的WSD程序，命名为{ \sc Lexas}，在以前的工作中使用的一个共同的数据集，以及一个大型的意义标记的语料库，我们分别构建。{ \sc Lexas}在公共数据集上实现了更高的准确性，并且在使用{ \sc WordNet}的精确含义标记的大型语料库中，对高度模糊的单词的性能优于最频繁的启发式算法。
1996-06-29 cmp-lg cs.CL
Unsupervised, Knowledge-Free, and Interpretable Word Sense Disambiguation
Institute of Natural Sciences and Mathematics, Ural Federal University, Russia（乌拉尔联邦大学自然科学与数学系）；Language Technology Group, Department of Informatics, Universität Hamburg, Germany（汉堡大学信息学系语言技术组）；Web and Data Science Group, Department of Informatics, Universität Mannheim, Germany（曼海姆大学信息学系网络与数据科学组）
预测模型的可解释性是一个强大的功能，可以获得用户对预测正确性的信任。在词义消歧（WSD）中，基于知识的系统往往比无知识的系统更容易解释，因为它们依赖于大量的表示词义的手动编码元素，如上位词、用法示例和图像。我们提出了一个WSD系统，弥合这两个迄今为止断开的方法组之间的差距。也就是说，我们的系统，提供访问几个国家的最先进的WSD模型，旨在解释为一个基于知识的系统，而它仍然是完全无监督和知识自由。所提出的工具具有一个Web界面，所有字消歧的文本，使人类可读的意义预测，通过提供可解释的词义库存，意义表示，和消歧的结果。我们提供了一个公共API，实现了无缝集成。
2017-07-21 cs.CL
Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔大学、法国国家科学研究中心、格勒诺布尔工业大学、信息与信号处理实验室）
在这篇文章中，我们解决了有限数量的手动意义标注语料库的词义消歧任务的问题，通过利用意义之间的语义关系，如同义关系，上位关系和下位关系，以压缩普林斯顿WordNet的意义词汇，从而减少必须观察到的不同的意义标签的数量，以消除词汇数据库中的所有单词的歧义。我们提出了两种不同的方法，大大减少了神经WSD模型的大小，其好处是提高其覆盖率，而无需额外的训练数据，并且不会影响其精度。除了我们的方法，我们提出了一个WSD系统，它依赖于预先训练的BERT词向量，以实现的结果，显着优于所有WSD评估任务的最先进的。
2019-08-27 cs.CL
Large-scale Taxonomy Induction Using Entity and Word Embeddings
University of Mannheim（曼海姆大学）
分类法是知识组织的一个重要组成部分，并作为智能系统中更复杂的知识表示（如形式本体）的骨干。然而，手动构建分类法是一项昂贵的工作，因此，自动分类法归纳方法是构建大规模分类法的一个很好的替代方案。在本文中，我们提出了TIEmb，一种自动无监督的类包含公理提取知识库使用实体和文本嵌入的方法。我们应用的方法WebIsA数据库，一个数据库的包容关系提取的大部分万维网，提取类层次结构中的人和地方域。
2021-05-04 cs.AI cs.CL
Semantic projection: recovering human knowledge of multiple, distinct object features from word embeddings
Harvard University（哈佛大学）；McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑研究所）；Siemens Healthineers（西门子医疗）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
语言的词汇反映了人类思维的结构，使我们能够在个体之间传递思想。然而，语言只能代表我们丰富而详细的认知结构的一个子集。在这里，我们问什么样的共同知识（语义记忆）被捕获的词义（词汇语义）。我们研究了一个突出的计算模型，表示在一个多维空间中的向量的话，这样，词向量之间的接近近似语义相关性。因为相关的词出现在相似的上下文中，所以这种空间--称为“词嵌入“--可以从自然语言中的词汇共现模式中学习到。尽管词嵌入很受欢迎，但一个基本的问题是它们似乎在语义上是“刚性的”：词间接近度只捕捉整体相似性，而人类对对象相似性的判断高度依赖于上下文，涉及多个不同的语义特征。例如，海豚和短吻鳄看起来大小相似，但智力和攻击性不同。这种依赖于上下文的关系可以从词嵌入中恢复吗？为了解决这个问题，我们引入了一个强大的，域通用的解决方案：词向量的“语义投影”到代表各种对象特征的线条上，如大小（从“小”到“大”的线条），智能（从“哑”到“聪明”），或危险（从“安全”到“危险”）。这种方法直观上类似于将物体放在两个极端之间的“心理尺度”上，恢复了人类对一系列物体类别和属性的判断。因此，我们表明，词嵌入继承了丰富的共同知识，从词共现统计，可以灵活地操纵，以表达上下文相关的意义。
2018-03-06 cs.CL
Mapping to Declarative Knowledge for Word Problem Solving
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
数学应用题形成了一系列定量推理问题的自然抽象，例如理解金融新闻，体育比赛结果和战争伤亡。解决这样的问题需要理解的几个数学概念，如量纲分析，子集关系等，在本文中，我们开发的声明性规则，管理这些概念的自然语言描述的数学表达式的翻译。然后，我们提出了一个框架，将这样的陈述性知识的文字问题解决。我们的方法通过学习为解决方案表达式的每个操作选择相关的声明性知识，来学习将算术单词问题文本映射到数学表达式。这提供了一种在同一问题中处理多个概念的方法，同时支持答案表达式的可解释性。我们的方法将声明性知识的映射建模为潜在变量，从而消除了对昂贵注释的需求。实验评估表明，我们的领域知识为基础的求解器优于所有其他系统，它更好地概括在现实的情况下，它所暴露的训练数据是有偏见的以不同的方式比测试数据。
2017-12-26 cs.CL
World-to-Words: Grounded Open Vocabulary Acquisition through Fast Mapping in Vision-Language Models
University of Michigan（密歇根大学）；Computer Science and Engineering Division, University of Michigan（密歇根大学计算机科学与工程系）
本文提出GOVA框架和OctoBERT模型，通过在图像-文本对上以接地为目标的预训练，验证视觉-语言模型能更快速稳健地学习新词汇，揭示了接地能力对新词学习的自举作用。
2024-12-26 cs.AI cs.CL cs.CV
Word Sense Disambiguation for 158 Languages using Word Embeddings Only
Yandex（andex）
上下文中词义的消歧对人类来说很容易，但对自动方法来说是一个重大挑战。开发了复杂的监督和基于知识的模型来解决这一任务。然而，（i）给定单词的监督训练实例的固有Zipfian分布和/或（ii）语言知识表示的质量激发了完全无监督和无知识的词义消歧（WSD）方法的发展。它们对于资源不足的语言特别有用，这些语言没有任何资源来构建监督和/或基于知识的模型。在本文中，我们提出了一种方法，作为输入的标准预训练的词嵌入模型，并诱导一个完全成熟的词义库存，可用于在上下文消歧。我们使用这种方法在Grave et al.（2018）原始预训练的fastText词嵌入的基础上，为158种语言归纳了一系列意义清单，从而在这些语言中实现了WSD。模型和系统可在线获得。
2020-03-14 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用，但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中，我们评估如何以及这些表示可以预测具体概念的感知和概念特征，借鉴两个语义规范数据集来自人类参与者。我们发现，几个标准的单词表征未能编码概念的许多显着的感知特征，并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机，这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Contextualized Word Embeddings Encode Aspects of Human-Like Word Sense Knowledge
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
理解上下文相关的词义变化是词汇支持的人类语言理解的一个关键方面。词典资源（例如，WordNet）仅捕获这种依赖于上下文的变化中的一部分;例如，它们通常不编码意义或离散词义彼此之间的相关程度。我们的工作调查了NLP的最新进展，特别是语境化的词嵌入，是否捕捉到了英语词义之间的人类特征，如一词多义和同音异义。我们收集数据的行为，基于网络的实验中，参与者提供一个词的多个WordNet意义的相关性的判断在一个二维的空间安排任务。我们发现，被试对感觉之间的相关性的判断与BERT嵌入空间中感觉之间的距离相关。Homeland sense（Homeland sense）作为哺乳动物的蝙蝠对作为运动器材的蝙蝠）在嵌入空间中比多义的（例如，鸡是动物，鸡是肉。我们的研究结果指向意义的连续空间表征的潜在效用。
2020-10-25 cs.CL
