Learning grounded word meaning representations on similarity graphs
CNRS, IRIT（法国国家科学研究中心，图卢兹计算机科学研究所）；Univ. of Toulouse（图卢兹大学）；California Institute of Technology（加州理工学院）
本文介绍了一种新的方法来学习视觉接地的意义表示的单词作为低维节点嵌入底层图层次结构。层次结构的较低级别通过专用但可通信的图对特定于模态的单词表示进行建模，而较高级别将这些表示放在单个图上以从两种模态联合学习表示。每个图的拓扑模型的相似性关系的话，并估计与图嵌入。该模型的基本假设是，共享相似含义的单词对应于低维空间中的底层相似性图中的社区。我们将此模型命名为层次多模态相似图嵌入（HM-SGE）。实验结果验证了HM-SGE模拟人类相似性判断和概念分类的能力，优于现有技术。
2021-09-07 cs.AI cs.CL
Using meaning instead of words to track topics
ULiege（列日大学）；HEC Liege（列日高等商学院）
监控主题随时间演变的能力对企业来说非常有价值。目前，所有现有的主题跟踪方法都是通过匹配词汇使用来使用词汇信息。然而，还没有研究尝试过使用语义信息来跟踪主题。因此，我们探索了一种新的基于语义的方法，使用词嵌入。我们的研究结果表明，基于语义的方法来跟踪主题是等同于词汇的方法，但使不同的错误。这表明这两种方法可以相互补充。
2023-01-02 cs.AI cs.CL
Acquiring a Lexicon from Unsegmented Speech
我们目前正在进行的工作上的机器收购的词汇从句子中，每一个未分割的电话序列配对的原始表示的意义。描述了一个简单的探索性算法，以及目前的工作方向和讨论的相关性的问题，儿童语言习得和计算机语音识别。
1995-05-08 cmp-lg cs.CL
Word Meanings in Transformer Language Models
University of Reading, Department of Philosophy（reading大学哲学系）；University of Oxford, Mathematical Institute（牛津大学数学研究所）
本文通过聚类RoBERTa-base的token嵌入空间并检验其对语义及心理语言学指标的敏感性，证明Transformer语言模型内部编码了丰富的词义信息，从而反驳了意义取消主义假说。
2025-08-18 cs.AI cs.CL
A Meaning-based Statistical English Math Word Problem Solver
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
本文介绍了MeSys，一种基于意义的方法，通过理解和推理解决英语数学应用题（MWPs）。它首先对文本进行分析，将主体部分和疑问部分转化为相应的逻辑形式，然后进行推理。每个量的相关联的上下文用所提议的角色标签（例如，nsubj、动词等），其提供了用其相关联的上下文信息来注释所提取的数学量的灵活性（即，这个量的物理意义）。提出了统计模型来选择操作符和操作数。噪声数据集被设计为评估求解器是否主要通过理解或机械模式匹配来求解MWP。实验结果表明，我们的方法优于现有的系统在基准数据集和噪声数据集，这表明所提出的方法理解的意义，每个量的文本中更多。
2018-07-06 cs.AI cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures；University of Edinburgh（爱丁堡大学）
我们描述了一个可视化工具，可以用来查看随着时间的推移，在单词的含义的变化。该工具利用现有的（静态）单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
Context-aware Sentiment Word Identification: sentiword2vec
Peking University（北京大学）
传统的情感分析通常使用情感词典来提取文本中的情感信息并对文档进行分类。然而，在用户生成的内容中出现的非正式单词和短语需要对上下文进行分析。通常，它们在特定的上下文中具有特殊的含义。由于情感词向量在表达词间关系方面的出色表现，我们使用情感词向量来识别特殊词。本文基于分布式语言模型word2vec，提出了一种特定语境下词语情感表达的新方法，并对长答案中情感极性异常的词语进行了识别。实验结果表明，改进后的模型在表示特殊意义的词时表现出了更好的性能，而在表示特殊惯用模式时表现出了较好的性能。最后，我们将讨论向量表示在情感领域中的意义，这可能不同于一般的基于对象的条件。
2016-12-12 cs.AI cs.CL
Word meaning in minds and machines
New York University（纽约大学）；Facebook AI Research（Facebook AI研究院）
由于自然语言处理（NLP）的最新进展，机器已经获得了广泛且不断增长的语言能力。心理学家对此类模型表现出越来越大的兴趣，将它们的输出与相似性、联想、启动和理解等心理判断进行比较，从而提出了这些模型是否可以作为心理理论的问题。在这篇文章中，我们比较了人类和机器如何表示单词的含义。我们认为，当代NLP系统是相当成功的人类词汇相似性模型，但他们在许多其他方面的不足。目前的模型与大型语料库中基于文本的模式联系得太紧密，而与人们通过语言表达的愿望、目标和信念联系得太弱。词义还必须以感知和行动为基础，并且能够以当前系统所不具备的方式灵活组合。我们讨论了更有前途的方法来接地NLP系统，并认为，他们将更成功的一个更人性化的，概念基础的词义。
2021-04-17 cs.AI cs.CL cs.LG
Temporal Word Meaning Disambiguation using TimeLMs
Pune Institute of Computer Technology（浦那计算机技术学院）
在现代文明中，词语的含义不断变化。大语言模型使用词嵌入，这通常是静态的，因此不能处理这种语义变化。因此，解决词义的歧义是很重要的。本文是在这个方向上的努力，我们探索的EvoNLP共享任务的词义消歧的方法。我们进行严格的消融两个解决方案，这个问题。我们看到，使用时间感知语言模型的方法有助于这项任务。此外，我们探讨这个问题的未来可能的方向。
2022-11-17 cs.CL
Connect-the-Dots: Bridging Semantics between Words and Definitions via Aligning Word Sense Inventories
Tencent AI Lab（腾讯人工智能实验室）
词义消歧（WSD）旨在根据上下文自动识别单词的确切含义。由于有限的训练数据，现有的监督模型难以对稀有词义做出正确的预测，并且只能从一个预定义词义库存（例如，WordNet）。为了解决数据稀疏性问题，并将模型推广到独立于一个预定义的库存，我们提出了一个注释对齐算法，可以对齐定义句子（注释）具有相同的含义，从不同的感觉库存收集丰富的词汇知识。然后，我们训练一个模型，以确定上下文中的目标词和它的一个注释使用这些对齐的库存，表现出很强的传输能力，许多WSD任务之间的语义等价。在基准数据集上的实验表明，该方法提高了对频繁和罕见词义的预测，在全词WSD任务上比先前的工作高出1.2%，在低镜头WSD任务上高出4.3%。在WiC任务上的测试结果也表明，该方法能更好地捕捉上下文中的词义。
2021-10-27 cs.AI cs.CL
Detecting New Word Meanings: A Comparison of Word Embedding Models in Spanish
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Polytechnique Montréal（蒙特利尔综合理工学院）
语义新词是指在保持原有形式的同时获得新的词义的词。鉴于这类新词的性质，识别这些新词含义的任务目前由新词观测站的专家手动执行。为了以半自动的方式检测SN，我们开发了一个系统，该系统实现了以下策略的组合：主题建模，关键字提取和词义消歧。主题建模的作用是检测输入文本中处理的主题。文本中的主题提供了关于所用单词的特定含义的线索，例如：viral在计算机科学（CS）的上下文中有一个含义，而在谈论健康时有另一个含义。为了提取关键字，我们使用了带有POS标签过滤的TextRank。通过这种方法，我们可以获得已经是西班牙语词汇的一部分的相关单词。我们使用一个深度学习模型来确定一个给定的关键字是否有新的含义。与所有已知含义（或主题）不同的嵌入表示单词可能是有效的SN候选。在这项研究中，我们研究了以下词嵌入模型：Word2Vec，Sense2Vec和FastText。使用西班牙语维基百科作为语料库，使用等效参数对模型进行训练。然后，我们使用一个单词列表及其索引（从我们的新词数据库中获得）来显示每个模型产生的不同嵌入。最后，我们将这些结果与每个单词的一致性进行比较，以显示我们如何确定一个单词是否可以作为SN的有效候选。
2020-01-12 cs.CL
Shades of meaning: Uncovering the geometry of ambiguous word representations through contextualised language models
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本研究利用上下文语言模型进行模拟，发现其词表征能区分无歧义词、同形异义词和多义词，且与词典分类及心理学理论一致，为词汇歧义的心理学解释提供定量支持。
2023-04-26 cs.CL
Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言及翻译学系）
针对语义组合程度缺乏量化计算指标的问题，研究者基于Transformer前馈网络的键值记忆机制提出组合度指标，实验发现其与多个和语言加工相关的脑簇相关，为研究人脑语义组合提供了新工具。
2024-07-10 cs.AI cs.CL
A quantum teleportation inspired algorithm produces sentence meaning from word meaning and grammatical structure
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Queen Mary, London（伦敦玛丽女王大学）
我们讨论了一种算法，它产生一个句子的意义，给出它的单词的含义，以及它与量子隐形传态的相似之处。事实上，该协议是该算法的主要灵感来源，该算法在自然语言处理领域有许多应用。
2013-10-11 cs.CL quant-ph
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用，但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中，我们评估如何以及这些表示可以预测具体概念的感知和概念特征，借鉴两个语义规范数据集来自人类参与者。我们发现，几个标准的单词表征未能编码概念的许多显着的感知特征，并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机，这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Syntax-Aware Multi-Sense Word Embeddings for Deep Compositional Models of Meaning
University of Oxford（牛津大学）；Queen Mary University of London（伦敦玛丽女王大学）
作用于词的分布表示以产生更大文本成分的向量的意义的深层组成模型正在演变为NLP研究的一个流行领域。我们详细介绍了一个组成的分布框架的基础上，丰富的形式的词嵌入，旨在促进在一个句子的上下文中的词之间的相互作用。嵌入层和组合层是针对通用目标联合学习的，该通用目标利用来自周围上下文的句法信息来增强向量。此外，每个单词都与许多意义相关联，其中最合理的是在合成过程中动态选择的。我们对所产生的载体进行了定性和定量的评价，并获得了积极的结果。在句子层面上，该框架的有效性证明了MSRPar任务，我们报告的结果在国家的最先进的范围内。
2015-08-13 cs.AI cs.CL cs.NE
On the Impact of Temporal Representations on Metaphor Detection
University of Milano-Bicocca（米兰比可卡大学）；FIZ Karlsruhe - Leibniz Institute for Information Infrastructure（FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
现有的隐喻检测方法使用基于神经网络的隐喻分类器来比较它们的字面意义或核心意义以及它们的上下文意义。然而，由于文化和社会的影响，隐喻表达方式随着时间的推移而演变。人们知道隐喻表达与语言和字面词义共同进化，甚至在某种程度上推动了这种进化。这就提出了一个问题，即不同的，可能是特定时间的，字面意义的表征是否会影响隐喻检测任务。据我们所知，这是第一个研究，探讨隐喻检测任务，详细的探索性分析，不同的时间和静态词嵌入被用来解释不同的表征字面意义。我们的实验分析是基于三个流行的基准用于隐喻检测和词嵌入提取不同的语料库和时间对齐使用不同的国家的最先进的方法。结果表明，不同的静态词嵌入方法的使用确实影响隐喻检测任务，一些时间词嵌入略优于静态方法。然而，研究结果也表明，时间词嵌入可能提供表征的核心意义的隐喻，甚至太接近他们的上下文意义，从而混淆分类。总的来说，时间语言进化和隐喻检测之间的相互作用在我们的实验中使用的基准数据集似乎很小。这表明，未来对这一重要语言现象的计算分析工作应该首先从创建一个新的数据集开始，在这个数据集上更好地表示这种相互作用。
2022-04-29 cs.AI cs.CL
A Context-theoretic Framework for Compositionality in Distributional Semantics
University of Hertfordshire（赫特福德大学）
将词表示为向量的技术在计算语言学的许多应用中已经被证明是有用的，但是目前还没有通用的语义形式主义来表示向量的意义。我们提出了一个自然语言语义框架，其中的词，短语和句子都表示为向量，基于理论分析，假设意义是由上下文决定的。在理论分析中，我们将语料库模型定义为对文本语料库的数学抽象。假设一串单词的含义是一个向量，表示它在语料库模型中出现的上下文。基于这个假设，我们可以证明词的向量表示可以被认为是域上代数的元素。我们注意到，在向量空间的应用程序来表示单词的含义有一个潜在的格结构，我们解释的偏序格之间的含义描述。我们还定义了一个字符串的上下文理论概率，并在此基础上和格结构，字符串之间的蕴涵程度。我们将框架与现有的方法组成基于向量的表示的意义，并表明我们的方法概括了其中许多，包括向量加法，分量乘法和张量积。
2011-01-24 cs.AI cs.CL
WiC: the Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations
University of Cambridge（剑桥大学）；Tehran Institute for Advanced Studies (TeIAS)（德黑兰高等研究院（TeIAS））；Cardiff University（卡迪夫大学）
通过设计，词嵌入不能够对词的语义的动态性质进行建模，即，词对应于潜在的不同含义的特性。为了解决这一限制，几十个专门的意义表示技术，如意义或上下文嵌入已被提出。然而，尽管这个主题的研究很受欢迎，很少有评估基准存在，专门专注于动态语义的话。在本文中，我们表明，现有的模型已经超过了标准评估数据集的性能上限，即，斯坦福大学的语境词相似度，并指出其不足之处。为了解决缺乏合适的基准测试的问题，我们提出了一个大规模的Word in Context数据集，称为WiC，基于专家策划的注释，用于上下文敏感表示的通用评估。WiC在https://pilehvar.github.io/wic/上发布。
2019-04-27 cs.CL
Referential Uncertainty and Word Learning in High-dimensional, Continuous Meaning Spaces
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文从指称不确定性的角度探讨了高维意义空间中的词汇学习。我们研究了各种最先进的机器学习算法，并讨论了缩放，表示和意义空间结构的影响。我们证明了当前的机器学习技术成功地处理了高维意义空间。特别是，我们发现，指数增加的维度线性影响学习者的表现，从词的敏感性的参考不确定性没有影响。
2016-09-30 cs.CL
Internal Wiring of Cartesian Verbs and Prepositions
University of Oxford（牛津大学）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
范畴成分分布语义学（CCDS）允许人们从组成词的意义中计算短语和句子的意义。从传统的语法范畴模型中继承下来的类型结构变成了一种“线结构”，它调节着词义的相互作用。然而，CCDS有一个比普通的范畴语义更丰富的逻辑结构，因为某些词也可以被赋予一个“内部连接”，要么提供它们的全部含义，要么减少它们的含义空间。以前的内部连接的例子包括关系代词和交叉形容词。在这里，我们建立了一个很大的一类行为良好的及物动词，我们称为笛卡尔动词相同，并减少意义空间从三元张量到一元。并提供了一些实验证据。
2018-11-08 cs.AI cs.CL
Theoretical foundations and limits of word embeddings: what types of meaning can they capture?
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
意义的测量是文化社会学的一个核心问题，而词嵌入可以提供强大的新工具来做到这一点。但就像任何工具一样，它们建立在理论假设之上并发挥作用。在本文中，我理论化的方式，其中词嵌入模型的三个核心前提的结构语言学理论的意义：意义是关系，连贯的，可以作为一个静态系统进行分析。在某些方面，词嵌入方法容易受到这些前提的相同的、持久的批评。在其他方面，他们为这些批评提供了新的解决方案。更广泛地说，用词嵌入形式化意义的研究为澄清文化社会学中的核心概念和争论提供了理论机会，例如意义的连贯性。正如网络分析明确了曾经模糊的社会关系概念（Borgatti et al. 2009），用嵌入方法形式化意义可以推动我们明确和重新想象意义本身。
2021-07-22 cs.CL cs.CY
Measuring the Meaning of Words in Contexts: An automated analysis of controversies about Monarch butterflies, Frankenfoods, and stem cells
University of Amsterdam（阿姆斯特丹大学）；Royal Netherlands Academy of Arts and Sciences（荷兰皇家艺术与科学学院）
在科学、技术和社会研究中，共词被认为是不同领域的意义载体。然而，词和共词在句子中获得意义，句子在其使用的上下文中获得意义。在科学/社会界面上，可以预期词语具有不同的含义：为词语提供含义的通信代码在界面的不同侧面上是不同的。此外，含义和界面可能会随着时间的推移而改变。考虑到这种跨界面和跨时间的意义结构，我们将隐喻和转喻区分为促进上下文之间翻译的自反机制。我们的经验重点是最近的三个科学争议：帝王蝶，弗兰肯食品和干细胞疗法。本研究探索了将语境中的共词分析研究与意义分析和处理的社会学探索联系起来的新途径。
2009-11-17 cs.CL cs.IR physics.soc-ph
Meaning Sort - Three examples: dictionary construction, tagged corpus construction, and information presentation system
它通常是有用的排序词到一个顺序，反映了他们的意义之间的关系，通过使用同义词词典。本文介绍了一种利用几种类型的“{ \sf is-a}”叙词表和一个多维叙词表进行语义排词的方法。我们还描述了三个主要的应用程序中的意义排序是有用的，并显示了意义排序的有效性。毫无疑问，按意义顺序排列的词表比按某种随机顺序排列的词表更容易使用，因此，可以很容易地产生按意义顺序排列的词表的意义排序一定是有用和有效的。
2001-03-12 cs.CL
Where exactly does contextualization in a PLM happen?
本文通过定性与定量分析 BERT uncased 12 层模型中多义词的表示，定位 PLM 内词语语境化及词义转换发生的具体位置。
2023-12-11 cs.AI cs.CL
Informational Space of Meaning for Scientific Texts
University of Leicester（莱斯特大学）
在自然语言处理中，文本意义的自动提取是一个重要的问题。我们的重点是短的科学文本（摘要或简要报告）的意义的计算分析。本文提出了一种向量空间模型来量化词语和文本的意义。我们引入了意义空间，在这个意义空间中，一个词的意义由一个关于文本所属主题类别的相对信息增益（RIG）向量来表示，这些信息增益可以通过观察文本中的词来获得。基于莱斯特科学语料库（LSC）和莱斯特科学词典核心（LScDC），将该方法应用于语义空间的构建。LSC是一个包含1，673，350个摘要的科学语料库，LScDC是一个科学词典，其中的单词是从LSC中提取的。LSC中的每个文本至少属于Web of Science（WoS）的252个主题类别中的一个。这些类别用于构建信息增益的向量。的意义空间的描述和统计分析的LSC与LScDC。建议的表示模型的有用性进行评估，通过在每个类别中排名靠前的话。信息量最大的n个单词被排序。我们证明了基于RIG的单词排名比基于原始词频的排名在确定单词的科学特定含义和重要性方面更有用。该模型的基础上RIG被证明有能力脱颖而出的主题特定的词在类别中。最具信息性的词是252类。新的科学词典和103，998 x 252词类别RIG矩阵可在线获得。意义空间的分析为我们提供了一个工具，进一步探索量化的文本意义使用更复杂的和上下文相关的意义模型，使用词及其组合的共现。
2020-04-28 cs.CL cs.DL
Building on Huang et al. GlossBERT for Word Sense Disambiguation
University of Southern California（南加州大学）
我们提出了词义消歧（WSD）问题。在语言中，同一形式的单词根据上下文可以有不同的含义。虽然人类很容易通过上下文推断出这些单词的含义或注释，但机器却在这项任务上遇到了困难。因此，我们打算复制并扩展Huang等人的结果。GlossBERT是他们设计的一种消除这些单词歧义的模型（Huang等人，2019年）。具体来说，我们提出了以下增强：数据集调整（阿尔法超参数），合奏方法，并更换BERT与BART和AL BERT。以下GitHub存储库包含本报告中使用的所有代码，这些代码扩展了Huang等人提供的代码。
2021-12-14 cs.AI cs.CL
Word meaning co-determines vowel-inherent spectral change. A corpus-based investigation of conversational Mandarin
Eberhard Karls Universität Tübingen（图宾根大学）；Center for Language Studies, Radboud University（拉德堡德大学语言研究中心）
研究汉语会话中元音固有频谱变化，用广义相加模型和词嵌入，发现控制多变量时元音共振峰轨迹有与词义相关特定成分，可由语境化嵌入预测，挑战了语音产生模块化认知模型，揭示词义对发音细节的影响。
2026-07-24 cs.CL
From cart to truck: meaning shift through words in English in the last two centuries
Universidad de Costa Rica（哥斯达黎加大学）
本研究利用历时词嵌入探索1800至2000年英语词汇意义演变，通过word2vec和正交Procrustes方法揭示语言与社会变迁的联系，并讨论方法局限与伦理问题。
2024-08-29 cs.CL
The Geometry of Culture: Analyzing Meaning through Word Embeddings
University of Chicago（芝加哥大学）；University of Chicago, Booth School of Business（芝加哥大学布斯商学院）；Amazon（亚马逊公司）
我们展示了一种新的方法工具，神经网络词嵌入模型，用于大规模文本分析的实用性，揭示了这些模型如何产生更丰富的见解文化协会和类别比可能与以前的方法。词嵌入将词之间的语义关系表示为高维空间中向量之间的几何关系，使符合当代身份和文化理论的意义关系模型可操作化。我们发现，在这些向量空间中，由词的差异（例如，男人-女人，富人-穷人，黑人-白人，自由-保守）引起的维度与文化意义的维度密切对应，并且与调查响应和标记的历史数据相比，词在这些维度上的投影反映了广泛共享的文化内涵。我们试点的方法来测试这些协会的稳定性，然后展示应用词嵌入的宏观文化调查与纵向分析的共同演变的性别和阶级协会在美国在20世纪和历史的区别之间的比较分析标记的性别和阶级在美国和英国。我们认为，这些高维模型的成功激励走向“高维理论化”的意义，身份和文化过程。
2018-03-25 cs.CL
Context Aware Lemmatization and Morphological Tagging Method in Turkish
Kocaeli University（科贾埃利大学）
本文面向土耳其语提出结合双向 LSTM 与 Turkish BERT 的上下文感知词形还原和形态标注模型，并在 IMST、PUD 上验证其优于 SIGMORPHON 2019 结果。
2025-01-04 cs.AI cs.CL
A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse
Preferred Networks, Inc.（Preferred Networks 公司）；Tokyo Institute of Technology（东京工业大学）；Tohoku University（东北大学）；RIKEN（理化学研究所）
本研究针对神经语言模型中使用的词嵌入方法来识别语篇中未知词或实体的意义。我们提出了一种通过跟踪上下文在神经模型的输入和输出层中动态构建和利用词嵌入的方法。这扩展了Kobayashi et al.（2016）中使用的动态实体表示，并结合了Gu et al.（2016）和Gulcehre et al.（2016）独立提出的复制机制。此外，我们还构建了一个新的任务和数据集，称为Ancesturized Language Modeling，用于评估阅读时捕捉词义的能力。使用我们的新数据集进行的实验表明，所提出的RNN语言模型变体优于基线模型。此外，实验还表明，输出层的动态更新有助于模型预测再现实体，而输入层的动态更新则可有效预测再现实体后面的单词。
2017-10-17 cs.CL
From meaning to perception -- exploring the space between word and odor perception embeddings
University of Copenhagen（哥本哈根大学）
在本文中，我们建议使用Word 2 vec算法，以获得气味感知嵌入（或气味嵌入），只使用公开的香水描述。这些嵌入除了显示出彼此之间有意义的相似关系外，还显示出与各自的词嵌入具有一些共享信息。这些嵌入的意义表明，美学可能会提供足够的约束，在非随机组合的数据上使用分布式语义驱动的算法。此外，它们为气味分类和香水分析提供了新的方法。我们还采用了嵌入，试图了解香水的美学性质，基于真实和随机生成的香水之间的差异。在另一个试验性实验中，我们探索了词嵌入空间和气味感知嵌入空间之间映射的可能性，通过在共享词汇上拟合回归量，然后预测没有先验相关气味的词的气味感知嵌入，例如夜晚或天空。
2022-03-19 cs.CL
Acquiring Frame Element Knowledge with Deep Metric Learning for Semantic Frame Induction
Nagoya University（名古屋大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对语义框架归纳中的论元聚类任务，提出基于深度度量学习的方法，通过微调预训练语言模型获取框架元素知识，在FrameNet上显著优于现有方法。
2023-05-23 cs.CL
Learning the meanings of function words from grounded language using a visual question answering model
McGill University（麦吉尔大学）；Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Stanford University（斯坦福大学）
本文研究视觉问答模型如何从基于视觉基础的语言中学习功能词含义，发现循环模型能通过非符号化统计学习掌握逻辑、空间和数值功能词语义，且学习难度受输入频率影响。
2024-04-22 cs.CL
JeSemE: A Website for Exploring Diachronic Changes in Word Meaning and Emotion
Graduate School ‘The Romantic Model’（“浪漫主义模式”研究生院）；Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
我们在这里介绍了一个大大扩展版本的JeSemE，一个交互式网站，用于可视化地探索计算得出的时变信息的词义和词汇的情绪，从五个大的历时文本语料库组装。JeSemE是专为（数字）人文学科的学者设计的，作为查阅手动编译的替代方案，印刷字典以获取此类信息（如果有的话）。这个工具独特地结合了最先进的分布式语义与人类情感的细微差别模型，我们认为这两个信息流有利于人文文本的数据驱动解释。
2020-12-18 cs.CL
Visual Grounding Helps Learn Word Meanings in Low-Data Regimes
McGovern Institute for Brain Research, MIT（麻省理工学院麦戈文脑科学研究所）；Department of Brain and Cognitive Sciences, MIT（麻省理工学院脑与认知科学系）；The Program in Speech and Hearing Bioscience and Technology, Harvard University（哈佛大学言语与听力生物科学与技术项目）；Computer Science and Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室）
本研究探讨视觉基础监督是否能提升语言模型的词汇学习效率，发现其仅在低数据机制下有效，且当前多模态方法未能有效利用视觉信息构建类人词汇表征。
2024-03-25 cs.AI cs.CL
Evaluation of Automatically Constructed Word Meaning Explanations
Masaryk University（马萨里克大学）
编写准确、全面的词义解释是单语词典编纂过程中的关键环节之一。在标准的方法论中，解释需要一个专业的词典编纂者花大量的时间检查描述性文本和语料库证据之间的一致性。在下面的文本中，我们提出了一种新的工具，它可以根据来自非常大的语料库的集体信息，特别是单词草图，自动导出解释。我们还提出了一个定量评估的建设性的解释，集中在名词的解释。该方法在一定程度上是语言独立的;然而，所提出的验证仅限于捷克语和英语。我们表明，所提出的方法允许创建解释，其中包含的数据有助于理解单词的含义在大约90%的情况下。然而，在许多情况下，结果需要后期编辑以删除冗余信息。
2023-02-27 cs.CL
Survey in Characterizing Semantic Change
FSTM - University of Luxembourg（卢森堡大学FSTM分校）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）
本文综述了语义变化的特征化方法，探讨了语义变化的三种分类：维度变化、方向变化和关系变化，并总结了现有研究的进展与未来方向。
2026-04-27 cs.AI cs.CL
Systematic word meta-sense extension
University of Toronto（多伦多大学）
本文提出了系统性词语元义延伸（SWORME）任务以测试并提升语言模型推导非字面词义的能力，发现模型擅长渐进式语义延伸而难以预测隐喻，并提出基于类比的方法有效提升了模型延伸能力及在修辞语言理解基准上的表现。
2023-11-21 cs.CL
Lexical Consensus: Grounded Word Learning and Shared Meaning in Artificial Agents
Neurocreaciones
提出词汇共识框架，利用冻结的DINOv2视觉嵌入和卡罗尔式无意义词，研究智能体如何从结构化感知中获取、稳定和使用新词汇意义，发现感知距离主导词汇习得梯度。
2026-06-23 cs.AI cs.CL
Word learning under infinite uncertainty
University of Edinburgh（爱丁堡大学）；University of Stirling（斯特林大学）
语言学习者必须学习成千上万个单词的含义，尽管这些单词出现在复杂的环境中，学习者可能会推断出无限多的含义作为单词的真正含义。这个无限参照不确定性的问题通常归因于威拉德·范·奥曼·奎因。我们提供了一个数学形式化的一个理想的跨情境的学习者试图学习无限的参考不确定性，并确定条件下，单词学习是可能的。正如奎因的直觉所暗示的那样，在无限不确定性下的学习实际上是可能的，只要学习者有一些根据其可解释性对候选词义进行排名的方法;此外，我们的分析表明，这种排名实际上可能非常弱，这意味着允许学习者推断候选词义的可解释性的约束本身可能很弱。这种方法解除了解释的负担，从“聪明”的词学习的限制，在学习者，并建议一个方案的研究弱，不可靠的，概率的限制，在真正的词学习者的词义推断。
2016-02-10 cs.CL physics.soc-ph
Can large language models understand uncommon meanings of common words?
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
本文构建涵盖细粒度与跨语言维度的LeSC基准，测试LLM对常用词罕见含义的理解，发现GPT-4等仍落后于人类，提示与RAG改进有限。
2024-05-09 cs.AI cs.CL
Exploring the Representation of Word Meanings in Context: A Case Study on Homonymy and Synonymy
CiTIUS – Research Center in Intelligent Technologies（CiTIUS——智能技术研究中心）；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
本文提出了一个多语种的研究，在上下文中的词义表征。我们评估的能力，静态和上下文模型，以充分代表不同的词汇语义关系，如同音异义和同义。为此，我们创建了一个新的多语言数据集，使我们能够对多个因素进行受控评估，例如周围环境的影响或单词之间的重叠，传达相同或不同的含义。通过对四种情景的系统评估表明，基于Transformers的最佳单语模型可以充分消除上下文中的同音异义词。然而，由于它们严重依赖于上下文，这些模型无法表示在相似句子中出现的具有不同含义的单词。实验用加利西亚语、葡萄牙语、英语和西班牙语进行，数据集（有3,000多个评估项目）和新模型都随本研究免费发布。
2021-06-29 cs.CL
Semi-Supervised Affective Meaning Lexicon Expansion Using Semantic and Distributed Word Representations
University of Waterloo（滑铁卢大学）
在本文中，我们提出了一个扩展的基于图的情感词典归纳方法，通过将分布式和语义词表示在建立的相似性图，以扩大一个三维的情感词典。我们还使用四种不同的单词表示和相似性度量来实现和评估标签传播。我们对这四种方法的综合评估是在一个数据集上进行的，这表明所有四种方法都可以以高精度生成大量新的情感分配。通过结合语义和分布特征获得的最高相关性（tau=0.51）和最低误差（平均绝对误差< 1.1%）优于基于分布和基于语义的标签传播模型，并接近监督算法。
2017-03-28 cs.CL
Training an adaptive dialogue policy for interactive learning of visually grounded word meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）
我们提出了一个多模态的对话系统，从人类导师的感知接地词义的交互式学习。该系统集成了一个增量的，语义解析/生成框架-动态分类和类型论与记录（DS-TTR）-与一组视觉分类器，在整个交互过程中学习和地面的意义表示，它产生。我们使用这个系统与一个模拟的人类导师的互动，学习的含义，学习率的准确性，和努力/成本的导师研究不同的对话政策和能力的影响。我们表明，学习代理的整体性能受到以下因素的影响：（1）谁在对话中采取主动;（2）表达/使用他们对视觉属性的信心水平的能力;以及（3）处理椭圆和增量构建对话的能力。最终，我们训练了一种自适应对话策略，该策略优化了分类器准确性和辅导成本之间的权衡。
2017-09-29 cs.AI cs.CL cs.LG
Word Alignment-Based Evaluation of Uniform Meaning Representations
Charles University Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics (ÚFAL)（查理大学数学物理学院形式与应用语言学研究所（ÚFAL））
本文提出基于词对齐的统一意义表示比较方法，通过分析词对齐关系提高语义表示比较的直观性和可解释性，避免了smatch的NP难搜索问题。
2026-03-27 cs.CL
SLAM-Inspired Simultaneous Contextualization and Interpreting for Incremental Conversation Sentences
Keio University（庆应义塾大学）
词的分布式表示提高了许多自然语言任务的性能。然而，在许多方法中，一个词的一个标签只考虑一个含义，并且取决于上下文的多义词的多个含义很少被处理。虽然研究工作涉及多义词，但都是根据一批大的文献来确定多义词的意义。因此，将这些方法应用于连续的句子有两个问题，例如在包含歧义表达的对话中。第一个问题是这些方法不能顺序地处理语境和词义之间的相互依赖关系，即语境决定词义，词义决定语境。因此，语境估计必须并行进行，以寻求多种解释。第二个问题是，以前的方法使用大规模的句子集来离线学习新的解释，学习和推理的步骤被明确分离。这种使用离线学习的方法在对话期间无法获得新的解释。因此，为了动态估计会话语境和连续句子中多义词的解释，本文在传统的同时定位与地图构建（SLAM）算法的基础上，提出了一种同时语境化与解释（SCAIN）方法。通过使用SCAIN算法，我们可以顺序优化上下文和单词解释之间的相互依赖关系，同时在线获得新的解释。为了进行实验评估，我们创建了两个数据集：一个来自维基百科的消歧页面，另一个来自真实对话。对于这两个数据集，结果证实SCAIN可以有效地实现顺序优化的相互依赖性和收购新的解释。
2020-05-29 cs.AI cs.CL
Using Deep Mixture-of-Experts to Detect Word Meaning Shift for TempoWiC
Netease Inc.（网易公司）
本文主要描述了TempoWiC任务的DMA提交，该任务的宏F1得分达到77.05%，在该任务中获得第一名。我们首先探讨不同预训练语言模型的影响。然后采用数据清洗、数据增强和对抗性训练策略来提高模型的泛化能力和鲁棒性。为了进一步改进，我们集成POS信息和单词语义表示使用混合专家模型（MoE）的方法。实验结果表明，MoE能很好地结合上下文、词性和词的语义特征，克服特征过度使用的问题。此外，我们使用一个模型集成的方法进行最终的预测，这已被许多研究工作证明是有效的。
2022-11-07 cs.CL
Where did the ambiguity go? Examining how multimodal models interpret polysemous words
Princeton University（普林斯顿大学）
该研究对比17个文本到图像模型和15个文本生成模型，发现多模态模型生成图像的词义多样性低于文本，揭示了基础模型在不同模态间意义表达的迁移 gap。
2026-08-18 cs.AI cs.CL cs.CV
Principal Components of the Meaning
University of Leicester（莱斯特大学）；Lobachevsky University（罗巴切夫斯基大学）
在本文中，我们认为，（词汇）的科学意义可以表示在一个13维的意义空间。这个空间是使用主成分分析（奇异分解）的矩阵的词类别的相对信息增益，其中的类别是那些使用的Web of Science，和单词是从一个减少的词集从Web of Science的文本。我们表明，这个减少的词集合理地代表了语料库中的所有文本，使主成分分析有一定的客观意义的语料库。我们认为，13个维度足以描述科技文本的意义，并假设的主要成分的定性意义。
2020-09-18 cs.CL cs.LG
SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in BERT-based Embedding Spaces
IDSIA（意大利瑞士人工智能研究所）
词汇语义变化检测（也称为语义转移跟踪）是一项识别随着时间的推移已经改变其含义的单词的任务。SemEval2020的重点是无监督语义转移跟踪，这尤其具有挑战性。鉴于无监督设置，在这项工作中，我们建议识别每个目标词的不同出现之间的聚类，将其视为不同词义的代表。因此，所获得的聚类中的不一致自然允许量化四种目标语言中每个目标词的语义转变水平。为了利用这个想法，聚类是在单词出现的上下文（基于BERT）嵌入上执行的。所获得的结果表明，我们的方法在单独（每种语言）和整体上都表现良好，我们超过了所有提供的SemEval基线。
2020-10-02 cs.AI cs.CL
Vision Transformers Learn Word Meaning from Images Alone
Technical University of Denmark（丹麦技术大学）
本文研究仅图像自监督预训练的DINOv3视觉Transformer能否从图像中学习词义，发现其能呈现显著语义结构，对比对齐可增强其单词级语义结构，表明仅图像训练能让视觉模型掌握词义关联。
2026-10-12 cs.CL cs.CV
Joint Semantic Synthesis and Morphological Analysis of the Derived Word
Johns Hopkins University（约翰斯·霍普金斯大学）；LMU Munich（慕尼黑大学）
就像句子由单词组成一样，单词本身也是由更小的单位组成的。例如，英语单词questionably可以分析为question+able+ly。然而，这个词的结构分解并不直接给我们一个词的意义的语义表示。由于形态学遵循组合性原则，词的语义可以系统地从其组成部分的意义中推导出来。在这项工作中，我们提出了一种新的概率模型的单词形成，捕捉到一个词w到其组成部分的分析和合成的意义w从这些部分的意义。我们的模型共同学习将单词分割成词素，并组成这些词素的分布语义向量。我们在英语CELEX数据和德语DerivBase（Zeller等人，2013）数据。我们发现，联合建模语义提高了分割精度和词素F1之间的3%和5%。此外，我们研究了不同的向量组合模型，表明递归神经网络比简单的加法模型有改进。最后，我们研究的程度表示对应的语言学家的概念形态生产力。
2018-11-10 cs.CL
