CoDA21: Evaluating Language Understanding Capabilities of NLP Models With Context-Definition Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）
预训练的语言模型（PLM）在许多基准测试中取得了超人的性能，因此需要更难的任务。我们引入CoDA 21（上下文定义对齐），这是一个具有挑战性的基准测试，用于测量PLM的自然语言理解（NLU）能力：给定k个单词的定义和上下文，但不是单词本身，任务是将k个定义与k个上下文对齐。CoDA21需要对上下文和定义有深刻的理解，包括复杂的推理和世界知识。我们发现，人类和PLM性能之间存在很大的差距，这表明CoDA21衡量了NLU的一个方面，而现有的基准测试中没有充分涵盖这一方面。
2022-03-11 cs.AI cs.CL
Left-Branching Transformers Excel at Right-Branching Languages: Data Shapes Word Order Preferences in Language Models
Khoury College of Computer Sciences, Northeastern University（东北大学科里计算机科学学院）；Faculty of Informatics TU Wien（维也纳技术大学信息学院）
研究对比仅解码器Transformer在192种人工及自然语言中的词序偏好，发现其在人工语言呈左分支偏好、自然语言随数据增长偏好SVO，证实词序偏差由数据驱动，或减少语言词序多样性。
2026-09-10 cs.AI cs.CL
Language models and brains align due to more than next-word prediction and word-level information
MPI for Software Systems（马克斯·普朗克软件系统研究所）
该研究通过两种扰动对比实验证明，语言模型与大脑记录一致性的提升不仅来自下一词预测和词级信息的改进，还存在其他重要共享机制。
2024-10-03 cs.CL q-bio.NC
Word Order and World Knowledge
Beihang University（北京航空航天大学）；University of Copenhagen（哥本哈根大学）
本文通过五种语言、六种固定词序的文本预训练语言模型，并用词语类比探测词序对世界知识归纳的影响，发现固定词序表现存在稳定差异，而Wov2Lex假设不成立。
2024-03-01 cs.AI cs.CL
Saying, Not Knowing: Aggressively GGUF-Quantized Small Language Models Still Write Rare Words They Can No Longer Define
Defence Institute of Advanced Technology（国防高级技术学院）
本研究审计27个GGUF量化小语言模型，发现激进量化至Q2级别时，子2B模型罕见词定义能力大幅下降，而生成流畅性保留，需按产物逐一验证。
2026-10-06 cs.CL cs.LG
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America（美国 NEC 实验室）；Princeton（普林斯顿大学）
现代自然语言理解模型依赖于预训练的子词嵌入，但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明，严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后，我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱，但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Conditional Generators of Words Definitions
Joom；Samsung-HSE Laboratory（三星-高等经济学院实验室）
我们探讨最近推出的定义建模技术，提供了不同的分布式矢量表示的单词通过建模字典定义的单词的评价工具。在这项工作中，我们研究了定义建模中的单词歧义问题，并提出了一个可能的解决方案，采用潜变量建模和软注意力机制。我们的定量和定性评估和分析的模型表明，考虑到词的歧义和多义导致性能的改善。
2018-06-26 cs.CL
Multi-sense Definition Modeling using Word Sense Decompositions
Northwestern University（西北大学）；Mahidol University（玛希隆大学）
词嵌入捕获关于词的句法和语义信息。定义建模旨在通过基于嵌入输出自然语言定义，使每个嵌入中的语义内容显式化。然而，现有的定义模型在为同一个词的不同含义生成准确定义的能力方面是有限的。在本文中，我们介绍了一种新的方法，使多个感官的定义建模。我们展示了Gumble-Softmax方法如何在训练过程中将特定意义的嵌入与定义相匹配时优于基线。在实验中，我们的多意义定义模型比最先进的单意义定义模型提高了三倍的召回率，而不影响精度。
2019-09-19 cs.CL
Definition Modeling: Learning to define word embeddings in natural language
Northwestern University（西北大学）
词的分布式表征已被证明可以捕捉词汇语义，这在词相似性和类比关系任务中表现出了有效性。但是，这些任务只是间接地评估词汇语义。在本文中，我们研究是否有可能利用分布式表示来生成单词的字典定义，作为嵌入语义的更直接和透明的表示。我们将介绍定义建模，即为给定单词及其嵌入生成定义的任务。我们提出了几种基于递归神经网络的定义模型架构，并在多个数据集上对模型进行了实验。我们的研究结果表明，控制被定义的单词和定义单词之间的依赖关系的模型表现得更好，并且旨在利用形态学的字符级卷积层可以补充单词级嵌入。最后，一个错误分析表明，由一个定义模型的错误可能会提供洞察词嵌入的缺点。
2016-12-01 cs.CL
xSense: Learning Sense-Separated Sparse Representations and Textual Definitions for Explainable Word Sense Networks
National Taiwan University（国立台湾大学）
尽管在各种自然语言处理任务上取得了成功，但由于密集的向量表示，词嵌入难以解释。本文着重于解释嵌入的各个方面，包括意义分离的向量维和定义生成。具体来说，给定一个上下文和一个目标词，该算法首先将目标词嵌入投影到一个高维稀疏向量上，并通过编码的上下文信息选择最能解释目标词语义的维度，从而间接推断出目标词的意义。最后，我们的算法应用RNN以人类可读的形式生成目标词的文本定义，这使得能够直接解释相应的词嵌入。本文还介绍了一个大的，高质量的上下文定义数据集，包括意义定义连同多个例句每个多义词，这是一个有价值的资源定义建模和词义消歧。所进行的实验表明，在BLEU评分和人类评价测试的优越性能。
2018-09-10 cs.CL
On the Definition of Japanese Word
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
通用依存关系（UD）的标注指南规定依存关系标注的基本单位是句法词，但日语中句法词的定义并不明确。在依存句法分析中，UD日语树库采用了短单位词，这与使用短语单位词进行依存句法分析的传统不同。然而，我们认为，他们不是句法词指定的注释准则。虽然我们发现非主流的尝试，语言学定义的日语单词，这样的定义从来没有被应用到语料库注释。我们将讨论采用这些不太熟悉的标准的成本和收益。
2019-06-24 cs.CL
Interpretable Word Sense Representations via Definition Generation: The Case of Semantic Change Analysis
University of Amsterdam（阿姆斯特丹大学）；University of Oslo（奥斯陆大学）
本研究提出用专门的Flan-T5模型生成语境化词汇用法的自然语言定义作为可解释词义表示，选取簇内原型定义为义项标签，提升了语义变化分析的可解释性，且在语境词语义相似度任务上优于传统嵌入，为NLP提供了新型词汇表示方案。
2023-07-25 cs.CL
Mark my Word: A Sequence-to-Sequence Approach to Definition Modeling
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Utrecht University（乌得勒支大学）
在文本上下文中定义单词对于实际目的和深入了解分布式单词表示都是一项有用的任务。基于分布假设，我们认为定义建模最自然的形式化是将其视为序列到序列任务，而不是单词到序列任务：给定带有突出显示单词的输入序列，为其生成上下文适当的定义。我们的建议允许训练上下文和定义生成在一个端到端的方式，这是一个概念上的改进，早期的作品。我们在上下文和非上下文定义建模方面都取得了最先进的成果。
2019-11-13 cs.CL
Improving Interpretability of Word Embeddings by Generating Definition and Usage
Beijing University of Technology（北京工业大学）
词嵌入在捕捉词之间的语义关系方面是非常成功的。然而，这些词汇语义很难解释。定义建模提供了一种更直观的方法来评估嵌入，利用它们来生成相应单词的自然语言定义。这一任务对于词汇表征的实际应用和深入理解具有重要意义。我们提出了一个新的框架定义建模，它可以产生合理的和可理解的上下文相关的定义。此外，我们介绍了使用建模和研究是否有可能利用嵌入生成例句的话。这些方法更直接、更明确地表达了嵌入的语义，提高了嵌入的可解释性。我们将单任务模型扩展到多任务环境，并研究了几种联合多任务模型，将使用建模和定义建模结合在一起。在现有的Oxford数据集和新收集的Oxford-2019数据集上的实验结果表明，我们的单任务模型在定义建模方面达到了最先进的结果，多任务学习方法有助于提高两个任务的性能。
2020-07-18 cs.CL
Enriching Word Usage Graphs with Cluster Definitions
University of Oslo（奥斯陆大学）；University of Stuttgart（斯图加特大学）
本文提出一个通过微调编码器-解码器模型生成聚类标签作为词义定义来丰富多语言词用图（WUGs）的数据集，人工评估表明其优于WordNet基线，有助于推进可解释的语义变化建模。
2024-03-26 cs.CL
Implementing a Reverse Dictionary, based on word definitions, using a Node-Graph Architecture
Rajarambapu Institute of Technology（拉贾兰巴普理工学院）
在本文中，我们概述了一种方法来建立基于图的反向字典使用词的定义。反向词典将短语作为输入，并输出与该短语语义相似的单词列表。这是一个解决舌尖问题的方法。我们使用一个基于距离的相似性度量，计算图，以评估一个词和输入短语之间的相似性。我们比较我们的方法与Onelook反向字典和基于word2vec的分布式语义方法的性能，并表明我们的方法是比分布式语义方法，以及作为Onelook一样好，在一个3k的词典。这个简单的方法为反向字典设置了一个新的性能基准。
2016-12-17 cs.CL
Term Definitions Help Hypernymy Detection
University of Pennsylvania（宾夕法尼亚大学）
现有的上位词检测方法主要依赖于对大型语料库的统计，或者挖掘一些共现模式，如“动物，如猫”，或者将感兴趣的词嵌入到上下文感知向量中。因此，这些方法受到足够大的语料库的可用性的限制，该语料库可以覆盖所有感兴趣的术语并提供足够的上下文信息来表示它们的含义。在这项工作中，我们提出了一个新的范例，HyperDef，上位检测-表达词的含义编码的词的定义，随着上下文驱动的表示。这有两个主要好处：（i）解释性句子表达单词的（特定意义）独立于语料库的含义，因此定义驱动的方法能够实现强大的泛化--一旦经过训练，该模型预计将在开放域测试平台中工作良好;（ii）来自大型语料库的全球背景和定义为单词提供补充信息。因此，我们的模型HyperDef一旦在与任务无关的数据上进行训练，就可以在多个基准测试中获得最先进的结果
2018-06-12 cs.CL
IRB-NLP at SemEval-2022 Task 1: Exploring the Relationship Between Words and Their Semantic Representations
Ruđer Bošković Institute（鲁杰尔·博什科维奇研究所）
一个词和它的描述，或者一个词和它的嵌入之间的关系是什么？描述和嵌入都是词的语义表征。但是，在这些表征中保留了来自原始词的哪些信息呢？或者更重要的是，这两种表征共享了关于一个词的哪些信息？定义建模和反向词典是解决这些问题的两个相反的学习任务。定义建模任务的目标是研究隐藏在词嵌入中的信息的力量，以人类可理解的方式表达单词的含义-作为字典定义。相反，反向词典任务探索直接从定义预测词嵌入的能力。在本文中，通过处理这两个任务，我们正在探索词和它们的语义表征之间的关系。我们根据对CODWOE数据集进行的描述性、探索性和预测性数据分析提出了我们的研究结果。我们详细介绍了我们为定义建模和反向字典任务设计的系统，并在SemEval-2022 CODWOE挑战赛的几个子任务中获得了最高分。我们希望我们提供的有关预测模型和数据分析的实验结果将被证明对未来单词表示及其关系的探索有用。
2022-05-13 cs.CL
Vec2Gloss: definition modeling leveraging contextualized vectors with Wordnet gloss
National Taiwan University（台湾大学）
本文提出Vec2Gloss模型，利用中文Wordnet释义模式从上下文嵌入生成词语定义，并设计依存性指标分析生成文本，为上下文嵌入的词汇语义应用提供新视角。
2023-05-29 cs.CL
Semeval-2022 Task 1: CODWOE -- Comparing Dictionaries and Word Embeddings
Helsinki University（赫尔辛基大学）；Utrecht University（乌得勒支大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；ATILF（ATILF研究所）
词嵌入在许多任务中推进了NLP的最新发展。理解密集神经表征的内容是计算语义学社区的最大兴趣。我们建议把重点放在这些不透明的词向量与人类可读的定义，如在字典中找到的。这个问题自然分为两个子任务：将定义转换为嵌入，以及将嵌入转换为定义。这项任务是在多语言环境中进行的，使用了同类训练的可比嵌入集。
2022-05-27 cs.CL
"Definition Modeling: To model definitions." Generating Definitions With Little to No Semantics
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Helsinki University（赫尔辛基大学）
本研究针对定义建模任务的评估有效性问题，通过实验发现现有早期模型对语义不敏感且依赖形式相似性，质疑了该任务作为词嵌入语义评估手段的合理性。
2023-06-14 cs.CL
Definition Frames: Using Definitions for Hybrid Concept Representations
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
单词表示的进步已经在下游NLP任务中显示出巨大的改进，但缺乏语义可解释性。在本文中，我们介绍了定义框架（DF），矩阵分布式表示提取的定义，其中每个维度是语义上可解释的。DF维度对应于Qualia结构关系：一组唯一定义术语的关系。我们的研究结果表明，DF具有竞争力的表现与其他分布式语义方法的单词相似性任务。
2020-11-02 cs.CL
COMPILING: A Benchmark Dataset for Chinese Complexity Controllable Definition Generation
School of Information Science, Beijing Language and Culture University（北京语言大学信息科学学院）
定义生成任务旨在自动生成特定上下文中单词的定义。然而，由于缺乏不同复杂性的数据集，模型产生的定义往往保持相同的复杂性水平。本文提出了一种新的任务，生成一个词的定义与可控的复杂程度。相应地，我们介绍了COMPILING，一个数据集，给出了关于中文定义的详细信息，每个定义都标有其复杂度。COMPILING数据集包括74，303个单词和106，882个定义。据我们所知，它是中文定义生成任务中最大的数据集。我们选择了各种有代表性的生成方法作为这项任务的基线，并进行了评估，这表明我们的数据集在帮助模型生成不同复杂程度的定义方面发挥了突出的作用。我们相信，COMPILING数据集将有利于复杂性可控定义生成的进一步研究。
2022-09-29 cs.CL
Incorporating Sememes into Chinese Definition Modeling
Beijing Language and Culture University（北京语言大学）；The University of Hong Kong（香港大学）；Tsinghua University（清华大学）
中文定义建模是一项具有挑战性的任务，它为给定的中文单词生成中文词典定义。为了完成这一任务，我们建立了一个包含词、义位和相应定义三元组的汉语定义模型语料库（CDM）。本文提出了两种改进中文定义建模的新模型：自适应注意模型（AAM）和自适应注意模型（SAAM）。AAM成功地将义位与自适应的注意力机制结合起来，生成定义。它有能力决定关注哪些义素以及何时关注义素。SAAM进一步用自我注意取代了AAM中的循环连接，完全依赖于注意力机制，减少了词、义位和定义之间的路径长度。在CDM上的实验表明，通过引入语义，我们提出的最佳模型可以比最先进的方法提高+6.0 BLEU。
2019-05-16 cs.CL
Does He Wink or Does He Nod? A Challenging Benchmark for Evaluating Word Understanding of Language Models
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
在大型语料库上预训练语言模型的最新进展已经在许多NLP任务上取得了很大的性能提升。这些大型模型在预训练期间获得语言知识，这有助于通过微调提高下游任务的性能。为了评估获得了什么样的知识，语言模型通常是通过“填空”式完形填空来查询的。现有的探测数据集主要集中在单词和实体之间的关系的知识。我们引入了WDLMPro（Word Definition语言模型Probing）来直接使用单词的字典定义来评估单词理解。在我们的实验中，三种流行的预训练语言模型很难匹配单词及其定义。这表明他们对许多单词的理解很差，我们的新探测任务是一个困难的挑战，可以帮助指导未来对LM的研究。
2021-02-06 cs.CL
Automatic classification of bengali sentences based on sense definitions present in bengali wordnet
College of Engineering and Management, Kolaghat（科拉加特工程与管理学院）；Jadavpur University, Kolkata（加尔各答贾达夫普尔大学）；Indian Statistical Institute, Kolkata（加尔各答印度统计研究所）
基于孟加拉语WordNet中可用的词的意义定义，尝试将孟加拉语句子根据其潜在的意义自动分类为不同的组。输入的句子收集从50个不同类别的孟加拉语文本语料库中开发的TDIL项目的印度政府，而信息的不同意义上的特定的歧义词汇项收集从孟加拉语WordNet。在实验的基础上，我们使用朴素贝叶斯概率模型作为一个有用的句子分类。我们已经应用该算法超过1747个句子，其中包含一个特定的孟加拉语词汇，由于其模糊的性质，能够触发不同的意义，使句子在不同的意义。在我们的实验中，我们已经取得了约84%的准确率的结果，对总的输入句子的意义分类。我们分析了那些不符合我们的实验，并影响结果的剩余句子，注意到在许多情况下，错误的句法结构和语义信息少的句子语义分类的主要障碍。本研究在自动文本分类、机器学习、信息抽取、词义消歧等方面具有一定的应用价值。
2015-08-06 cs.CL
Connect-the-Dots: Bridging Semantics between Words and Definitions via Aligning Word Sense Inventories
Tencent AI Lab（腾讯人工智能实验室）
词义消歧（WSD）旨在根据上下文自动识别单词的确切含义。由于有限的训练数据，现有的监督模型难以对稀有词义做出正确的预测，并且只能从一个预定义词义库存（例如，WordNet）。为了解决数据稀疏性问题，并将模型推广到独立于一个预定义的库存，我们提出了一个注释对齐算法，可以对齐定义句子（注释）具有相同的含义，从不同的感觉库存收集丰富的词汇知识。然后，我们训练一个模型，以确定上下文中的目标词和它的一个注释使用这些对齐的库存，表现出很强的传输能力，许多WSD任务之间的语义等价。在基准数据集上的实验表明，该方法提高了对频繁和罕见词义的预测，在全词WSD任务上比先前的工作高出1.2%，在低镜头WSD任务上高出4.3%。在WiC任务上的测试结果也表明，该方法能更好地捕捉上下文中的词义。
2021-10-27 cs.AI cs.CL
Lexical Sememe Prediction using Dictionary Definitions by Capturing Local Semantic Correspondence
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
义素在语言学中被定义为人类语言的最小语义单位，在许多自然语言处理任务中被证明是有用的。由于人工构建和更新义素知识库（KBs）的成本很高，因此提出了自动义素预测的任务来辅助义素标注。在本文中，我们探讨的方法，应用字典的定义来预测义素的未注释的话。我们发现，每个词的义素通常是语义匹配到不同的词在其词典定义，我们称之为局部语义对应这种匹配关系。因此，我们提出了一个语义对应池（SCorP）模型，它能够捕捉这种匹配来预测语义。我们评估我们的模型和基线方法上一个著名的词素KB知网，发现我们的模型达到了最先进的性能。进一步的定量分析表明，该模型能够正确地学习词典释义中义素与词之间的局部语义对应关系，说明了该模型的有效性。本文的源代码可以从https://github.com/thunlp/scorp获得。
2020-01-16 cs.CL
Monolingual alignment of word senses and definitions in lexicographical resources
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
本论文的重点是广泛的词典编纂数据，特别是词典的对齐。为了解决这一领域的一些挑战，两个主要任务的词义对齐和翻译推理的解决。第一个任务的目的是找到一个最佳对齐给定的意义定义的一个词目在两个不同的单语词典。这是一个具有挑战性的任务，特别是由于在两个资源的意义粒度，覆盖范围和描述的差异。在描述了各种词汇语义资源的特点后，我们介绍了一个包含15种语言的17个数据集的基准，其中单语词义和定义由专家在不同的资源中手动注释。在创建基准时，词典编纂者的知识通过注释被纳入其中，其中为每个意义对选择语义关系，即精确的、较窄的、较宽的、相关的或无。该基准可以用于评估词义对齐系统的目的。使用该基准测试对几种基于文本和非文本语义相似性检测和语义关系归纳的对齐技术的性能进行了评估。最后，我们将这项工作扩展到翻译推理，其中翻译对被诱导以无监督的方式使用基于图分析的各种方法生成双语词典。这项任务对于为资源较少和代表性不足的语文创建词典编纂资源特别有意义，也有助于扩大现有资源的覆盖面。从实用的角度来看，在这篇论文中开发的技术和方法是在一个工具，可以方便的对齐任务。
2022-09-06 cs.CL
LitMind Dictionary: An Open-Source Online Dictionary
Beijing Language and Culture University（北京语言大学）；Shanghai University of Finance and Economics（上海财经大学）
词典可以通过提供单词的定义来帮助语言学习者学习词汇。由于传统的词典把词义作为预定义目录中的离散项目来呈现，它们缺乏灵活性，这是在特定语境中提供单词的特定含义所必需的。在本文中，我们介绍了LitMind词典（dictionary.litmind.ink），这是一个开源的在线生成词典，它将单词和包含该单词的上下文作为输入，并自动生成定义作为输出。它采用最先进的定义生成模型，不仅支持中文和英文，而且支持中英文跨语言查询。此外，它具有用户友好的前端设计，可以帮助用户快速，轻松地理解查询词。所有的代码和数据都可以在https://github.com/blcuicall/litmind-dictionary上找到。
2022-04-23 cs.CL
Grouping Synonyms by Definitions
INRIA（法国国家信息与自动化研究所）；Université Nancy 2（南锡第二大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用实验室）；ATILF（法语语言分析与研究中心）
我们提出了一种方法来分组的同义词的一个词根据其字典意义。这些意义由一个大型的法语机器可读词典TLFi（Trésor de la langue française informatisé）定义，而同义词则由5个同义词词典（也适用于法语）给出。为了评估所提出的方法，我们手动构建了一个黄金标准，对于每个（单词，定义）对，并给出由5个同义词词典定义的同义词集合，4个词典编纂者指定他们判断为足够的同义词集合。虽然注释者之间的协议范围从67%到最好的88%，这取决于注释者对和正在考虑的同义词词典，我们提出的自动程序得分的精度为67%，召回率为71%。该方法与相关的工作，即，词义消歧，同义词词典的获取和WordNet的建设进行了比较。
2009-09-18 cs.CL
A Unified Model for Reverse Dictionary and Definition Modelling
University of Edinburgh（爱丁堡大学）
我们构建了一个双向神经词典来检索给定定义的单词，并为查询的单词生成定义。该模型同时学习这两个任务，并通过嵌入处理未知词。它通过一个共享层将一个单词或一个定义转换到同一个表示空间，然后以多任务的方式生成另一个表单。我们的方法在没有额外资源的情况下，在以前的基准测试中实现了有希望的自动得分。人类注释者在无参考和基于参考的评估中更喜欢模型的输出，表明其实用性。分析表明，多个目标有利于学习。
2022-10-11 cs.CL cs.IR
Self reference in word definitions
Harvard University（哈佛大学）；Université de Genève（日内瓦大学）；Weizmann Institute of Science（魏茨曼科学研究所）
字典本质上是循环的。一个给定的词与一组替代词（定义）相关联，这些替代词又指向进一步的后代。以这种方式遍历定义，人们通常会发现定义循环回到自身。由这种定义关系形成的图就是我们的研究对象。通过消除那些不在循环中的链接，我们得到一个高度连通节点的核心子图。我们观察到，定义循环很方便地按长度分类，较长的循环通常来自语义误解。通过打破字典图中的长循环，我们得到一组不连通的簇。我们发现，在这些集群中的单词构成语义单位，而且往往已被引入到英语中在类似的时间，这表明一种可能的机制，语言的演变。
2011-03-11 cs.AI cs.CL physics.soc-ph
VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word Representations for Improved Definition Modeling
Graduate School of Engineering（工程研究生院）；The University of Tokyo（东京大学）
在本文中，我们解决了定义建模的任务，其目标是学习生成单词和短语的定义。现有的方法，这一任务是歧视性的，结合分布和词汇语义在一个隐含的，而不是直接的方式。为了解决这个问题，我们提出了一个生成模型的任务，引入了一个连续的潜在变量，明确建模上下文中使用的短语和它的定义之间的潜在关系。我们依靠变分推理进行估计，并利用上下文化的词嵌入来提高性能。我们的方法是评估现有的四个具有挑战性的基准，增加了两个新的数据集，“剑桥”和第一个非英语语料库“罗伯特”，我们发布，以补充我们的实证研究。我们的变分上下文定义建模器（VCDM）在自动和人工评估指标方面实现了最先进的性能，证明了我们方法的有效性。
2020-10-07 cs.CL cs.LG
Automatic Identification of Support Verbs: A Step Towards a Definition of Semantic Weight
目前词汇密度和语义权重的概念的定义是基于封闭类和开放类的词的划分，以及直觉。本文开发了一个计算上易于处理的语义权重的定义，集中在它意味着什么一个词是语义轻，定义涉及到看一个词的频率在特定的句法结构，这是指示亮度。像“make”和“take”这样的动词，当它们充当支持动词时，通常被认为是语义轻的。为了测试我们的定义，我们根据Grefenstette和Teufel（1995）的实验进行了一项实验，在该实验中，我们自动识别语料库中这些词的轻实例;这是通过将我们的频率相关的语义权重定义纳入类似于Grefenstette和Teufel的统计方法来完成的。结果表明，这是一个合理的定义语义轻的动词，这可能是扩展到定义语义轻的其他类别的话。
1995-10-26 cmp-lg cs.CL
Using Synchronic Definitions and Semantic Relations to Classify Semantic Change Types
University of Gothenburg（哥德堡大学）；VUB/FWO/KU Leuven（布鲁塞尔自由大学/FWO/鲁汶大学）
本文提出融合 WordNet 同义词集定义与层级关系的模型，用于识别泛化、特化和同下义词转移等语义变化类型，并验证其对语义相关性判断和词汇语义变化检测的提升作用。
2024-06-11 cs.CL
Rosetta Stone at KSAA-RD Shared Task: A Hop From Language Modeling To Word--Definition Alignment
Microsoft（微软）；EPFL（瑞士洛桑联邦理工学院）
本文提出阿拉伯语反向词典共享任务的获胜方案，通过集成微调 Arabic BERT 模型预测词嵌入，并将英语定义翻译为阿拉伯语复用模型，在两个子任务中均取得最高分。
2024-01-21 cs.AI cs.CL
Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇，在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典，这些种子词典的获取成本很高，或者需要包含粗糙和噪声对齐的平行句子。相反，我们提出了BilLex，利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下，BilLex采用了一种新的词对策略，自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估，发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
Multitasking Framework for Unsupervised Simple Definition Generation
Shanghai University of Finance and Economics（上海财经大学）；Beijing Language and Culture University（北京语言大学）；National Language Resources Monitoring and Research Center Print Media Branch（国家语言资源监测与研究中心平面媒体分中心）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
定义生成任务可以通过为不熟悉的单词提供解释来帮助语言学习者。近年来，这项任务引起了广泛关注。我们提出了一个新的任务简单定义生成（SDG），以帮助语言学习者和低识字读者。这项任务的一个重大挑战是缺乏许多语言的学习词典，因此缺乏监督训练的数据。我们探索这个任务，并提出了一个多任务框架的定义，只需要一个标准的字典与复杂的定义和语料库包含任意简单的文本。我们解开的复杂性因素，从文本仔细设计两个解码器之间的参数共享计划。通过联合训练这些组件，框架可以同时生成复杂和简单的定义。我们证明，该框架可以生成相关的，简单的目标词的定义，通过自动和手动评估英语和中文数据集。我们的方法在英文数据集上的SARI得分比基线模型高出1.77，并且将汉语定义中的低级（HSK 1 - 3级）词的比例提高了3.87%。
2022-03-24 cs.CL
Toward Cross-Lingual Definition Generation for Language Learners
Beijing Language and Culture University（北京语言大学）；Tsinghua University（清华大学）；Shanghai University of Finance and Economics（上海财经大学）
自动生成词典定义对语言学习者很有用。然而，跨语言定义的生成仍然是一个具有挑战性的任务。在这项工作中，我们建议用英语为各种语言中的单词生成定义。为了实现这一点，我们提出了一个简单而有效的方法，基于公开的预训练语言模型。在这种方法中，模型可以在英语数据集上训练后直接应用于其他语言。我们证明了这种方法的有效性zero-shot定义生成。实验和人工分析表明，我们的模型有很强的跨语言迁移能力，可以生成流利的英文定义的中文单词。我们进一步测量生成和引用定义的词法复杂度。结果表明，生成的定义更简单，更适合语言学习者。
2020-10-12 cs.CL
Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions
Idiap Research Institute（伊迪亚普研究所）；University of Manchester（曼彻斯特大学）；National Biomarker Centre（国家生物标志物中心）
本文提出一种多关系模型，通过从词典定义中自动提取概念关系，在双曲空间中利用翻译框架学习词嵌入，实验证明其比欧几里得方法更优，且比神经模型更高效可解释。
2024-02-16 cs.CL cs.LG
Hierarchies in Dictionary Definition Space
Université du Québec à Montréal (UQÀM)（魁北克大学蒙特利尔分校）；HEC Montréal（蒙特利尔高等商学院）；Groupe d’études et de recherche en analyse des décisions (GERAD)（决策分析研究小组）
词典是根据其他词来定义词的.定义可以告诉你你不知道的单词的含义，但只有当你知道定义单词的含义时。你需要知道多少单词（哪些）才能从定义中学习所有其他单词？我们将字典简化为它们的“接地内核”（GK），大约占字典的10%，所有其他单词都可以从中定义。GK单词被证明具有心理语言学相关性：它们在更早的年龄被学习，并且比字典中的其他单词更具体。但我们还可以进一步压缩：GK原来有内部结构，有一个强连接的“内核核心”（KC）和一个周围的层，从中可以导出定义距离的层次结构，一直延伸到整个字典的外围。这些定义距离也与心理语言学变量（习得年龄、具体性、意象性、口头和书面频率）相关，因此可能与我们每个人头脑中的“心理词汇”相关。
2009-11-30 cs.CL cs.LG
Vision Meets Definitions: Unsupervised Visual Word Sense Disambiguation Incorporating Gloss Information
UMass Amherst（马萨诸塞大学阿默斯特分校）；UMass Lowell（马萨诸塞大学洛厄尔分校）；UMass Chan Medical School（马萨诸塞大学陈医学院）；VA Bedford Health Care（VA贝德福德医疗中心）
针对图文匹配模型多义词识别差及词典外问题，提出融合词义定义的贝叶斯推理无监督VWSD方法和基于GPT-3的上下文感知定义生成，显著提升了性能。
2023-07-24 cs.AI cs.CL cs.CV
From syntactic structure to semantic relationship: hypernym extraction from definitions by recurrent neural networks using the part of speech information
Southwest University（西南大学）
上下义关系是语义网络中的重要组成部分。从定义中识别上位词是自然语言处理和语义分析中的一项重要任务。虽然像WordNet这样的公共词典适用于常见单词，但它在特定领域场景中的应用有限。现有的上位词提取工具要么依赖于特定的语义模式，要么专注于词的表示，这都表现出一定的局限性。
2020-12-07 cs.AI cs.CL
Dictionary-based Debiasing of Pre-trained Word Embeddings
Tokyo Metropolitan University（东京都立大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊）
在大型语料库上训练的词嵌入显示出高度的不公平歧视性性别、种族、宗教和民族偏见。相比之下，人类编写的词典以简洁、客观和公正的方式描述单词的含义。我们提出了一种使用字典对预训练的词嵌入进行去偏置的方法，而不需要访问原始训练资源或关于所使用的词嵌入算法的任何知识。与以前的工作不同，我们所提出的方法不需要的类型的偏见被预先定义的单词列表的形式，并学习的约束，必须满足无偏词嵌入自动从字典定义的话。具体地，我们学习编码器以生成输入词嵌入的去偏版本，使得它（a）保留预训练的词嵌入的语义，（b）根据字典同意词的无偏定义，以及（c）保持与由预训练的词嵌入空间中的任何偏置基向量所跨越的向量空间正交。标准基准数据集上的实验结果表明，该方法可以准确地去除预训练词嵌入中编码的不公平偏见，同时保留有用的语义。
2021-01-23 cs.CL
Building a Knowledge Graph from Natural Language Definitions for Interpretable Text Entailment Recognition
University of Passau（帕绍大学）；University of Manchester（曼彻斯特大学）
术语的自然语言定义可以作为丰富的知识来源，但将它们构建为可理解的语义模型对于使它们能够用于语义解释任务至关重要。我们提出了一种方法，并提供了一套工具，自动建立一个图形世界知识库的自然语言的定义。采用由一组字典定义的语义角色组成的概念模型，我们训练了一个分类器来自动标记定义，准备数据稍后转换为图形表示。WordNetGraph，一个知识图谱建立了名词和动词WordNet定义根据这种方法，成功地用于可解释的文本蕴涵识别方法，使用该图中的路径，以提供明确的理由蕴涵决策。
2018-06-20 cs.CL
Moving Down the Long Tail of Word Sense Disambiguation with Gloss-Informed Biencoders
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Facebook AI Research（脸书人工智能研究院）
词义消歧（WSD）的一个主要障碍是词义不是均匀分布的，导致现有模型在训练过程中对罕见或不可见的词义表现不佳。我们提出了一个双编码器模型，它独立地嵌入（1）目标词及其周围的上下文和（2）每个意义的字典定义或注释。编码器在相同的表示空间中联合优化，使得可以通过为每个目标词嵌入找到最近的意义嵌入来执行意义消歧。我们的系统在英语全词WSD上的表现优于以前最先进的模型;这些收益主要来自于稀有感官的性能提高，导致在较不频繁的感官上的错误减少了31.1%。这表明，罕见的意义可以更有效地消除歧义，通过建模他们的定义。
2020-06-02 cs.CL
Improving Rare Word Translation With Dictionaries and Attention Masking
University of Notre Dame（圣母大学）
本文针对机器翻译中的稀有词问题，提出将双语词典释义附加到源句并结合注意力掩码的方法，在低资源和领域外场景下最高提升1.0 BLEU和1.6 MacroF1。
2024-09-03 cs.CL cs.LG
Lacking the embedding of a word? Look it up into a traditional dictionary
University of Rome Tor Vergata（罗马第二大学）；Guglielmo Marconi University（古列尔莫·马可尼大学）
词嵌入是功能强大的词典，可以轻松捕获语言变体。然而，这些词典未能给意义的罕见的话，这是令人惊讶的是，往往涵盖了传统的词典。在本文中，我们提出使用传统词典中检索到的定义来产生稀有词的词嵌入。为此，我们介绍了两种方法：定义神经网络（DefiNNet）和定义BERT（DefBERT）。在我们的实验中，DefiNNet和DefBERT的表现明显优于最先进的方法以及为生成未知词嵌入而设计的基线方法。事实上，DefiNNet的性能明显优于FastText，后者实现了一种基于n-gram的相同任务的方法，而DefBERT的性能明显优于OOV单词的BERT方法。然后，传统词典中的定义对于为稀有词构建词嵌入是有用的。
2021-09-24 cs.AI cs.CL
Evaluating a Multi-sense Definition Generation Model for Multiple Languages
University of New Brunswick（新不伦瑞克大学）
大多数先前的定义建模工作没有考虑到一词多义，或者通过考虑在给定上下文中对目标词的定义建模来实现。相比之下，在这项研究中，我们提出了一个上下文无关的方法来定义建模，基于多意义的词嵌入，这是能够产生多个定义的目标词。此外，与大多数以前的工作，主要集中在英语相比，我们评估了我们提出的方法对15个不同的数据集，涵盖9种语言，从几个语言家族。为了评估我们的方法，我们考虑几个变化的BLEU。我们的结果表明，我们提出的多意义模型优于所有15个数据集上的单意义模型。
2020-06-12 cs.CL cs.LG
Assisting Language Learners: Automated Trans-Lingual Definition Generation via Contrastive Prompt Learning
Tsinghua University（清华大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对传统单语定义生成易包含学习者陌生词汇的问题，提出跨语言定义生成任务，设计提示组合与对比提示学习方法，经高低资源场景验证，生成质量优于基线方法。
2023-06-09 cs.CL
Development of Word Embeddings for Uzbek Language
Copper City Labs（铜城实验室）
在本文中，我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集，使用内部开发的高质量Web抓取语料库在word2vec，GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
Gated Word-Character Recurrent Language Model
Center for Data Science（数据科学中心）；New York University（纽约大学）
我们引入了一个具有长短期记忆（LSTM）单元的递归神经网络语言模型（RNN-LM），该单元利用字符级和单词级输入。我们的模型有一个门，自适应地找到字符级和单词级输入的最佳混合。门通过组合单词的两个不同表示来创建单词的最终矢量表示。使用双向LSTM将字符级输入转换为单词的向量表示。词级输入通过词查找表投影到另一个高维空间。单词的最终向量表示用于LSTM语言模型，该模型预测给定所有前面单词的下一个单词。我们的模型与门控机制有效地利用字符级输入的罕见和词汇外的单词，并优于词级语言模型在几个英语语料库。
2016-10-13 cs.CL
