Autoencoding Word Representations through Time for Semantic Change Detection
Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
语义变化检测涉及识别其含义随时间变化的单词的任务。目前的最先进的检测水平的语义变化的一个词，通过比较它的矢量表示在两个不同的时间段，而不考虑其随时间的演变。在这项工作中，我们提出了三个变种的顺序模型检测语义转移的话，有效地占随着时间的推移，在时间敏感的方式在单词表示的变化。通过大量的实验，在各种设置下与合成和真实的数据，我们展示了通过时间的词向量的顺序建模的重要性，用于检测的话，其语义变化最大。最后，我们采取了一个步骤，以定量的方式比较不同的方法，证明了时间建模的单词表示产生一个明确的优势，在性能上。
2020-04-28 cs.CL
Synergistic Union of Word2Vec and Lexicon for Domain Specific Semantic Similarity
University of Moratuwa（莫拉图瓦大学）；University of London（伦敦大学）
语义相似性度量是自然语言处理任务中的重要组成部分。然而，语义相似性的措施，建立了一般使用不执行特定领域内。因此，在这项研究中，我们引入了一个特定领域的语义相似性的措施，创建的协同联盟的word2vec，一个词嵌入方法，用于语义相似性计算和基于词典（词汇）的语义相似性方法。我们证明了该方法的性能优于在通用语料库上训练的词嵌入方法和在特定领域语料库上训练的方法，但不使用词汇语义相似度方法来增强结果。此外，我们证明了文本词形化可以提高词嵌入方法的性能。
2017-06-09 cs.CL
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute（伊迪亚普研究所）
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型，有效地学习蕴涵的词嵌入，使用最近提出的框架，在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据，他们对这个短语向量的贡献，或作为一个单词短语向量的后验分布，并发现后验向量表现更好。在无监督和半监督实验中，所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Learning Word Representations from Relational Graphs
The University of Liverpool（利物浦大学）；National Institute of Informatics（国立信息学研究所）；Preferred Infrastructure, Inc.（Preferred Infrastructure公司）
词的属性和两个词之间的关系是人工智能中许多任务的核心，例如知识表示，相似性度量和类比检测。当两个词有一个或多个共同的属性时，它们通常通过某种语义关系连接起来。另一方面，如果两个词之间有许多语义关系，我们可以预期其中一个词的某些属性会被另一个词继承。由于属性和关系之间的这种紧密联系，给定一个关系图，其中单词通过许多语义关系相互连接，我们提出了一种方法来学习单个单词的潜在表示。该方法不仅考虑了现有的词表示学习方法所做的词的共现，而且还考虑了两个词共现的语义关系。为了评估使用所提出的方法学习的单词表示的准确性，我们使用学习的单词表示来解决语义单词类比问题。我们的实验结果表明，它是可能的，以学习更好的词表示，通过使用词之间的语义语义。
2014-12-07 cs.CL
Embedding Semantic Relations into Word Representations
University of Liverpool（利物浦大学）；Shizuoka University（静冈大学）；National Institute of Informatics（国立信息学研究所）
学习语义关系的表示对于各种任务（例如类比检测、关系搜索和关系分类）都很重要。虽然已经有几个建议，学习表示为个别的话，学习词表示，明确捕捉词之间的语义关系仍然没有得到发展。我们提出了一种无监督的方法来学习向量表示的话，这样学习的表示是敏感的语义关系，存在于两个词之间。首先，我们从语料库中两个词的共现语境中提取词汇模式来表示这两个词之间存在的语义关系。其次，我们将词汇模式表示为与该词汇模式共现的词的表示的加权和。第三，我们训练一个二元分类器来检测关系相似与不相似的词汇模式对。所提出的方法是无监督的意义上说，词汇模式对，我们使用的训练数据是自动采样的语料库，而不需要任何人工干预。我们提出的方法在统计上显著优于目前最先进的词表示在三个基准数据集上进行比例类比检测，证明了它能够准确地捕捉词之间的语义关系。
2015-05-01 cs.CL
Analyzing Continuous Semantic Shifts with Diachronic Word Similarity Matrices
Tokyo Metropolitan University（东京都立大学）；Hitotsubashi University（一桥大学）；National Institute for Japanese Language and Linguistics（日本语学研究所）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）；The Institute of Statistical Mathematics（统计数理研究所）
针对相邻时间段变化点检测不足与BERT类方法计算成本高的问题，本研究提出基于历时词相似矩阵的轻量框架，可深入分析多时段连续语义偏移，并能无监督聚类语义偏移行为相似的词语。
2025-01-17 cs.CL
Cross-lingual Word Analogies using Linear Transformations between Semantic Spaces
NTIS – New Technologies for the Information Society（NTIS——信息社会新技术）；University of West Bohemia（西波希米亚大学）
我们推广了跨语言的词类比任务，为跨语言语义空间提供了一种新的内在评价方法。我们在不同的语系中尝试了六种语言，包括英语，德语，西班牙语，意大利语，捷克语和克罗地亚语。国家的最先进的单语语义空间转换成一个共享的空间使用字典的单词翻译。我们比较了几种线性变换，并将它们与单语（无变换），双语（一个语义空间转换为另一个）和多语言（所有语义空间转换为英语空间）版本的语义空间进行了实验。我们表明，测试的线性变换保持词（词类比）之间的关系，并导致令人印象深刻的结果。单语、双语和多语言语义空间的平均准确率分别为51.1%、43.1%和38.2%。
2018-07-11 cs.CL
Semantic Structure and Interpretability of Word Embeddings
ASELSAN Research Center（ASELSAN研究中心）；Bilkent University（比尔肯大学）
密集词嵌入是一种将词的语义编码到低维向量空间中的方法，由于其在许多自然语言处理（自然语言处理）任务中的优异性能，已成为自然语言处理研究的热点。词嵌入在捕获词之间的语义关系方面是非常成功的，因此在相应的向量空间中必须存在有意义的语义结构。然而，在许多情况下，这种语义结构广泛且不均匀地分布在嵌入维度上，这使得解释成为一个很大的挑战。在这项研究中，我们提出了一种统计方法来揭示隐藏在密集的词嵌入的语义结构。为了进行我们的分析，我们引入了一个新的数据集（SEMCAT），其中包含超过6500个单词的语义分组下110个类别。我们进一步提出了一种方法来量化的词嵌入的可解释性，所提出的方法是一个实用的替代经典的词入侵测试，需要人为干预。
2018-05-16 cs.CL
The Acquisition of Semantic Relationships between words
University Ibn Khaldoun（伊本·赫勒敦大学）
本文研究词语语义关系与语言形态之间的动态联系，通过分析词的内部结构及其构成，揭示其对语言解释和理解的影响。
2023-07-12 cs.CL
Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
上下文化的词表示已被证明对于各种自然语言处理任务是有用的。然而，目前还不清楚这些表示在多大程度上可以覆盖手工编码的语义信息，如语义框架，它指定了与谓词相关的参数的语义角色。在本文中，我们专注于动词，唤起不同的框架取决于上下文，我们调查如何以及语境化的词表示可以识别的框架，同一个动词唤起的差异。我们还探讨了哪些类型的表示是适合语义框架归纳。在我们的实验中，我们比较了七个不同的语境化的词表示的两个英语框架语义资源，框架网络和PropBank。我们证明了几个语境化的词表示，特别是BERT及其变体，是相当翔实的语义框架归纳。此外，我们还考察了动词的语境化表征在多大程度上可以估计动词所能唤起的框架数量。
2021-05-27 cs.CL
Incorporating Both Distributional and Relational Semantics in Word Representations
University of Arizona（亚利桑那大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们调查的假设，词表示应该将分布和关系语义。为此，我们采用交替方向乘法（ADMM），它灵活地优化了原始文本的分布目标和WordNet上的关系目标。知识库完成，类比测试和解析的初步结果表明，在这两个目标上训练的单词表示在某些情况下可以得到改善。
2015-03-21 cs.CL
The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations
Télécom-Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院）；INRIA（法国国家信息与自动化研究所）
本文研究语言模型中未登录词被切分为子词后如何获得单向量表示，并通过语义相似性任务评估不同模型嵌入质量，发现被切分词的表示通常但并非总是更差，且其相似度值需谨慎解读。
2024-02-22 cs.CL
Joint Semantic Synthesis and Morphological Analysis of the Derived Word
Johns Hopkins University（约翰斯·霍普金斯大学）；LMU Munich（慕尼黑大学）
就像句子由单词组成一样，单词本身也是由更小的单位组成的。例如，英语单词questionably可以分析为question+able+ly。然而，这个词的结构分解并不直接给我们一个词的意义的语义表示。由于形态学遵循组合性原则，词的语义可以系统地从其组成部分的意义中推导出来。在这项工作中，我们提出了一种新的概率模型的单词形成，捕捉到一个词w到其组成部分的分析和合成的意义w从这些部分的意义。我们的模型共同学习将单词分割成词素，并组成这些词素的分布语义向量。我们在英语CELEX数据和德语DerivBase（Zeller等人，2013）数据。我们发现，联合建模语义提高了分割精度和词素F1之间的3%和5%。此外，我们研究了不同的向量组合模型，表明递归神经网络比简单的加法模型有改进。最后，我们研究的程度表示对应的语言学家的概念形态生产力。
2018-11-10 cs.CL
Contextualized Word Vector-based Methods for Discovering Semantic Differences with No Training nor Word Alignment
Konan University（甲南大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；Tokyo University of Foreign Studies（东京外国语大学）；University of Tokyo（东京大学）
本文提出基于上下文化词向量范数的方法，无需训练和词对齐即可发现两个语料库中词语的语义差异，在母语与非母语及历史语料库中验证了其对语料规模偏斜的鲁棒性及低频词检测能力。
2023-05-19 cs.CL
Semantic projection: recovering human knowledge of multiple, distinct object features from word embeddings
Harvard University（哈佛大学）；McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑研究所）；Siemens Healthineers（西门子医疗）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
语言的词汇反映了人类思维的结构，使我们能够在个体之间传递思想。然而，语言只能代表我们丰富而详细的认知结构的一个子集。在这里，我们问什么样的共同知识（语义记忆）被捕获的词义（词汇语义）。我们研究了一个突出的计算模型，表示在一个多维空间中的向量的话，这样，词向量之间的接近近似语义相关性。因为相关的词出现在相似的上下文中，所以这种空间--称为“词嵌入“--可以从自然语言中的词汇共现模式中学习到。尽管词嵌入很受欢迎，但一个基本的问题是它们似乎在语义上是“刚性的”：词间接近度只捕捉整体相似性，而人类对对象相似性的判断高度依赖于上下文，涉及多个不同的语义特征。例如，海豚和短吻鳄看起来大小相似，但智力和攻击性不同。这种依赖于上下文的关系可以从词嵌入中恢复吗？为了解决这个问题，我们引入了一个强大的，域通用的解决方案：词向量的“语义投影”到代表各种对象特征的线条上，如大小（从“小”到“大”的线条），智能（从“哑”到“聪明”），或危险（从“安全”到“危险”）。这种方法直观上类似于将物体放在两个极端之间的“心理尺度”上，恢复了人类对一系列物体类别和属性的判断。因此，我们表明，词嵌入继承了丰富的共同知识，从词共现统计，可以灵活地操纵，以表达上下文相关的意义。
2018-03-06 cs.CL
Lexical semantics enhanced neural word embeddings
Shandong Jianzhu University（山东建筑大学）
当前自然语言处理的突破极大地受益于神经语言模型，通过该模型，分布式语义可以利用神经数据表示来促进下游应用。由于神经嵌入使用上下文预测来产生密集向量，因此它们不可避免地倾向于捕获比语义相似性更多的语义关联。为了改进向量空间模型在推导语义相似度方面的性能，我们通过深度度量学习对神经词嵌入进行后处理，通过深度度量学习，我们可以将包括同义/反义和上下义关系在内的词汇语义关系注入到分布空间中。我们引入层次拟合，一种新的语义专业化的方法来建模语义相似性的细微差别固有地存储在IS-A层次结构。层次拟合在常用词和稀有词基准数据集上获得了最先进的结果，用于从神经词嵌入中获得语义相似性。它还采用了一个不对称的距离函数来明确地专门化上位词的方向性，通过它显着提高香草嵌入在多个评价任务中检测上位词和方向性，而不会对语义相似性判断产生负面影响。结果表明，层次拟合在后期融合中专门化具有语义关系的神经嵌入的有效性，潜在地扩展了其适用性，以聚合异构数据和各种知识资源，用于学习多模态语义空间。
2022-10-03 cs.CL
Incorporate Semantic Structures into Machine Translation Evaluation via UCCA
Yuanpei College, Peking University（北京大学元培学院）；Key Laboratory of Computational Linguistics, School of EECS, Peking University（北京大学电子信息工程学院计算语言学重点实验室）
在神经释义网络和其他文本生成任务中，通常使用一种隐式机制，即在输出序列中保留输入序列中的一些重要单词。同样，在机器翻译中，我们注意到在一个源文本的所有好的翻译中出现了某些词或短语，并且这些词倾向于传达重要的语义信息。因此，本文将句子中具有重要语义意义的词定义为语义核心词。此外，我们提出了一个MT评估方法命名为语义加权句子相似度（SWSS）。它利用UCCA的功能来识别语义核心词，然后计算语义核心词重叠的句子相似度得分。实验结果表明，SWSS可以持续改善流行的机器翻译评价指标，这是基于词汇相似性的性能。
2020-10-22 cs.CL
Incorporating Both Distributional and Relational Semantics in Word Representations
University of Arizona（亚利桑那大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们调查的假设，词表示应该将分布和关系语义。为此，我们采用交替方向乘法（ADMM），它灵活地优化了原始文本的分布目标和WordNet上的关系目标。知识库完成，类比测试和解析的初步结果表明，在这两个目标上训练的单词表示在某些情况下可以得到改善。
2015-03-21 cs.CL
Personalized word representations Carrying Personalized Semantics Learned from Social Network Posts
National Taiwan University（国立台湾大学）
分布式单词表示在各种自然语言处理（NLP）应用任务中已被证明是非常有用的。这些从大型语料库中获取的词向量往往同时携带了词的语义和句法信息。然而，众所周知，每个个体用户都有自己的语言模式，因为不同的因素，如感兴趣的话题，朋友群体，社交活动，措辞习惯等，这可能意味着某种个性化的语义。通过这种个性化的语义，同一个词对于不同的用户可能有稍微不同的含义。例如，单词“卡布奇诺”对于享受咖啡的用户而言可能意味着“休闲”、“快乐”、“极好”，而对于其他人而言只是一种饮料。这种个性化的语义当然不能由标准的通用词向量来承载，这些词向量是由许多人产生的庞大语料库训练的。在本文中，我们提出了一个框架，训练不同的个性化词向量，为不同的用户非常成功的连续跳语法模型的基础上，使用许多个人用户发布的社交网络数据。该框架首先从背景语料库中学习通用背景词向量，然后由个性化语料库对每个用户进行适配，以学习个性化词向量。我们使用两个应用程序任务来评估以这种方式获得的个性化词向量的质量，用户预测任务和句子完成任务。这些个性化的词向量被证明携带一些个性化的语义，并在这两个评估任务上提供更好的性能。
2017-10-29 cs.CL
Imparting Interpretability to Word Embeddings while Preserving Semantic Structure
ASELSAN Research Center（阿瑟兰研究中心）；Bilkent University（比尔肯特大学）；Ludwig Maximillian University（路德维希·马克西米利安大学）
词嵌入作为自然语言处理中一种普遍存在的方法，被广泛用于将词的语义属性映射到稠密的向量表示中。它们捕捉词之间的语义和句法关系，但对应于词的向量仅相对于彼此有意义。矢量和它的维数都没有任何绝对的、可解释的意义。我们引入了一个添加剂修改的嵌入学习算法，鼓励嵌入向量的单词，语义相关的一个预定义的概念，采取更大的值沿指定的维度，而原来的语义学习机制几乎不受影响的目标函数。换句话说，我们将已经确定相关的单词与预定义的概念对齐。因此，我们赋予解释性的词嵌入，其向量维度的意义。预定义的概念来自外部词汇资源，在本文中被选为Roget的词库。我们观察到，沿着所选概念的对齐不仅限于同义词词典中的词，还扩展到其他相关词。我们量化的程度的可解释性和分配的意义，从我们的实验结果。人工评估结果也已提交，以进一步验证所提出的方法增加了可解释性。我们还证明了使用词的类比和词的相似性测试，由此产生的向量空间的语义一致性的保存。这些测试表明，通过所提出的框架获得的可解释性赋予的词嵌入不会牺牲在常见的基准测试中的性能。
2020-07-02 cs.CL
Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Computer Science and Engineering, University of California, San Diego（加利福尼亚大学圣地亚哥分校计算机科学与工程系）
我们使用大量的英语历时语料库对新词现象进行了统计分析。我们调查两个因素的重要性，语义稀疏性和频率增长率的语义邻居，形式化的分布语义范式。我们发现，这两个因素是预测的字出现，虽然我们发现更多的支持后一种假设。除了提出一个新的语言应用的分布语义学，这项研究解决的语言问题的语言内部因素的作用（在我们的情况下，稀疏）在语言变化的动机语言外部因素（反映在频率增长）。
2020-01-21 cs.CL
ClaC: Semantic Relatedness of Words and Phrases
Concordia University（康考迪亚大学）
短语语义相关度的度量是自然语言处理应用中的一个重要度量。在本文中，我们提出了三种方法来衡量短语语义，一个基于语义网络模型，另一个分布相似性模型，以及两者之间的混合。我们的混合方法实现了77.4%的F-措施的任务，评估单词和组成短语的语义相似性。
2017-08-19 cs.CL
Text Relatedness Based on a Word Thesaurus
Norwegian University of Science and Technology（挪威科技大学）；Harokopio University（哈罗科皮奥大学）；Athens University of Economics and Business（雅典经济与商业大学）
以自动方式计算文本的两个片段之间的相关性需要考虑与两个片段传达的含义以及它们的词之间的成对关系有关的广泛因素。毫无疑问，衡量文本片段之间的相关性必须考虑词汇和语义之间的相关性。这样一个很好地捕捉文本相关性的两个方面的措施，可以帮助在许多任务，如文本检索，分类和聚类。在本文中，我们提出了一种新的方法来衡量语义之间的相关性的基础上，他们的隐含语义联系。该方法只利用一个词的词库，以设计隐含的语义词之间的联系。基于这种方法，我们引入Omiotis，一个新的文本之间的语义相关性的措施，利用字到字的语义相关性措施（SR），并将其扩展到衡量文本之间的相关性。我们逐步验证我们的方法：我们首先评估单个单词之间的语义相关性度量的性能，包括单词到单词的相似性和相关性，同义词识别和单词类比;然后，我们继续评估我们的方法在两个任务中测量文本到文本的语义相关性的性能，即句子到句子的相似性和释义识别。实验结果表明，该方法优于每一个基于词汇的语义相关性的方法在选定的任务和使用的数据集，并与基于语料库和混合方法的竞争。
2014-01-15 cs.CL
Task-Oriented Learning of Word Embeddings for Semantic Relation Classification
The University of Tokyo（东京大学）；University College London（伦敦大学学院）；Toyota Technological Institute（丰田工业大学）
我们提出了一种新的学习方法，词嵌入设计的关系分类。我们的词嵌入是通过在大型未标记语料库上使用词汇关系特定特征预测名词对之间的词来训练的。这使我们能够显式地将特定于关系的信息合并到词嵌入中。然后使用学习的词嵌入来构造用于关系分类模型的特征向量。在一个完善的语义关系分类任务，我们的方法显着优于基线的基础上，以前介绍的词嵌入方法，并比较有利的是以前的国家的最先进的模型，使用语法信息或手动构建的外部资源。
2015-06-22 cs.CL
Semantic, Orthographic, and Phonological Biases in Humans' Wordle Gameplay
Division of Engineering Science, University of Toronto（工程科学系，多伦多大学）
该研究针对Wordle游戏场景，利用NLP技术对比人类实际猜测与近最优猜测，揭示人类游玩时受先前猜测语义、正字法、音系影响的偏差，探究受限场景下的人类语言使用规律。
2025-11-13 cs.CL
Diachronic word embeddings and semantic shifts: a survey
University of Oslo（奥斯陆大学）；ANZ（澳新银行）
近年来出现了大量的论文，旨在使用分布方法，特别是基于预测的词嵌入模型来追踪词汇语义的时间变化。然而，这种研究缺乏凝聚力，共同的术语和共同的做法，更成熟的领域自然语言处理。本文综述了历时词嵌入和语义转移检测的研究现状。我们从讨论语义转移的概念开始，然后继续概述现有的方法来跟踪这种与时间相关的转移与词嵌入模型。我们提出了几个轴，沿着这些方法可以进行比较，并概述了这个新兴的NLP子领域的主要挑战，以及前景和可能的应用。
2018-06-13 cs.CL
Semantic Representations of Word Senses and Concepts
Sapienza University of Rome（罗马大学）；University of Cambridge（剑桥大学）
以机器可解释的形式表示语言项的语义一直是自然语言处理的主要目标。在众多的语言项目中，词汇是最受关注的研究对象。然而，单词表示有一个重要的限制：它们将单词的不同含义合并到一个向量中。词义的表征有可能克服这种固有的局限性。事实上，个别词义和概念的表示最近越来越受欢迎，几个实验结果表明，在从单词级别移动到更深的意义和概念级别时，可以在不同的NLP应用程序中实现相当大的性能改进。关于概念和词义的表示的另一个有趣的点是，这些模型可以无缝地应用于其他语言项目，如单词，短语和句子。
2016-08-02 cs.CL
An Exploratory Analysis on the Explanatory Potential of Embedding-Based Measures of Semantic Transparency for Malay Word Recognition
University of Tübingen（图宾根大学）
本研究通过词嵌入和位移向量等方法构建语义透明度测量指标，并在马来语前缀词数据上验证其对词汇判断反应时的预测作用，发现词与质心相关性模型拟合最佳。
2025-05-09 cs.CL
Issues in evaluating semantic spaces using word analogies
LSCP & IJN（LSCP与IJN）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（PSL研究大学）
解决词类比的偏移方法已经成为向量空间语义模型的标准评估工具：它被认为是理想的空间表示语义关系作为一致的向量偏移。我们表明，该方法对余弦相似性的依赖混淆了偏移一致性与很大程度上不相关的邻域结构，并提出了简单的基线，应用于提高该方法在向量空间评估中的实用性。
2016-06-24 cs.CL
Semantic WordRank: Generating Finer Single-Document Summarizations
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
我们提出了语义WordRank（SWR），一个无监督的方法，用于生成一个单一的文档的提取摘要。建立在具有语义和共现边缘的加权词图上，SWR使用具有Softplus函数调整的文章结构偏向PageRank算法对句子进行评分，并使用Word-Movers-Distance度量下的谱子主题聚类来促进主题多样性。我们在DUC-02和SummBank数据集上评估了SWR，并表明在常见的ROUGE措施下，SWR比DUC-02上的最先进算法产生更好的摘要。然后，我们表明，在SummBank的相同措施下，SWR优于三个人类注释器（又名。法官），并与所有法官的综合表现相媲美。
2018-09-12 cs.CL
Interpretable Word Sense Representations via Definition Generation: The Case of Semantic Change Analysis
University of Amsterdam（阿姆斯特丹大学）；University of Oslo（奥斯陆大学）
本研究提出用专门的Flan-T5模型生成语境化词汇用法的自然语言定义作为可解释词义表示，选取簇内原型定义为义项标签，提升了语义变化分析的可解释性，且在语境词语义相似度任务上优于传统嵌入，为NLP提供了新型词汇表示方案。
2023-07-25 cs.CL
Evaluating semantic models with word-sentence relatedness
The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
语义文本相似度（STS）系统被设计用于编码和评估单词、短语、句子和文档之间的语义相似度。评估这些系统中编码的语义信息的质量或真实性的一种方法是与人类判断进行比较。开发了一个用于评估语义模型的数据集，由775个英语单词-句子对组成，每个单词-句子对由参与最大差异缩放（MDS）任务的人类评分员注释语义相关性，以及更快的替代任务。作为这种相关性数据的一个示例应用，将基于行为的相关性与通过四种现成的STS模型计算的相关性进行了比较：n-gram，潜在语义分析（LSA），Word 2 Vec和UMBC Ebiquity。一些STS模型捕捉到了收集到的人类判断中的大部分差异，但它们对参与者处理和考虑的含义和蕴涵并不敏感。所有的文本刺激和判断数据都是免费提供的。
2017-01-03 cs.CL
Gibberish Semantics: How Good is Russian Twitter in Word Semantic Similarity Task?
SpazioDati S.r.l（SpazioDati 有限公司）
研究最多和最成功的语言模型主要是为英语和其他接近欧洲的语言，如法语，德语等开发和评估。重要的是要研究这些模型的适用性，以其他语言。最近研究了多个语料库（如Wikipedia，RuWac，lib.ru）中俄语向量空间模型的使用。这些模型进行了评价，对词的语义相似性任务。据我们所知，Twitter并没有被认为是这项任务的语料库，这项工作填补了这一空白。在Twitter语料库上训练的向量的结果与其他单语料库训练模型的准确性相当，尽管目前最好的性能是通过组合多个语料库来实现的。
2016-02-28 cs.CL
Semi-Supervised Affective Meaning Lexicon Expansion Using Semantic and Distributed Word Representations
University of Waterloo（滑铁卢大学）
在本文中，我们提出了一个扩展的基于图的情感词典归纳方法，通过将分布式和语义词表示在建立的相似性图，以扩大一个三维的情感词典。我们还使用四种不同的单词表示和相似性度量来实现和评估标签传播。我们对这四种方法的综合评估是在一个数据集上进行的，这表明所有四种方法都可以以高精度生成大量新的情感分配。通过结合语义和分布特征获得的最高相关性（tau=0.51）和最低误差（平均绝对误差< 1.1%）优于基于分布和基于语义的标签传播模型，并接近监督算法。
2017-03-28 cs.CL
Decomposing predictability: Semantic feature overlap between words and the dynamics of reading for meaning
University of Wuppertal（伍珀塔尔大学）
本研究采用计算的方法来考察语义限制在正常阅读中的作用。这种方法避免了传统的可预测性措施固有的混乱，允许在理论上更深入的语义处理帐户。我们从一个词之间的关联的定义的基础上显着的日志可能性，两个词共同出现在一个大型文本语料库的句子经常在一起。刺激词之间的直接关联被控制，启动词和目标词之间的语义特征重叠被它们的共同关联所操纵。刺激由代词、动词、冠词、形容词和名词等形式的句子组成，然后是一系列封闭类词，如。G.“她骑着灰象踏上了她众多探索之旅中的一次”结果表明，动名重叠减少了目标名词的单一注视和首次注视时间，形容词重叠减少了过去注视时间。激活的动态传播的帐户表明，联想的启动词需要一段时间才能成为激活：动词可以对目标名词的早期眼动措施提出三个字后，而形容词是之前提出的目标，这导致句子重新检查后，困难的形容词-名词语义整合。
2019-12-06 cs.CL
Improving Word Vector with Prior Knowledge in Semantic Dictionary
Peking University（北京大学）；Beijing Key Laboratory of Internet Culture and Digital Dissemination Research（北京网络文化与数字传播重点实验室）
使用低维向量空间来表示单词在许多NLP任务中非常有效。然而，当遇到生僻字和未见过字的问题时，它并不能很好地工作。在本文中，我们提出利用语义词典中的知识结合一些形态信息来构建一个增强的向量空间。我们得到了2.3%的改进，比国家的最先进的海德尔时间系统在时间表达识别，并获得了很大的增益在其他名称实体识别（NER）的任务。语义词典知网单独也显示出有前途的结果，在计算词汇相似度。
2018-01-27 cs.CL
Filling Missing Paths: Modeling Co-occurrences of Word Pairs and Dependency Paths for Recognizing Lexical Semantic Relations
The University of Tokyo（东京大学）
识别词对之间的词汇语义关系是自然语言处理许多应用中的一项重要任务。其中一个主流的方法是利用连接两个目标词的词汇-句法路径，这些路径反映了词对之间的语义关系。然而，这种方法要求所考虑的单词在句子中共同出现。这一要求很难满足，因为齐普夫定律指出，大多数实义词很少出现。在本文中，我们提出了新的方法与$P(path|w_1, w_2)$的神经模型来解决这个问题。我们提出的$P(path|w_1, w_2)$模型可以以无监督的方式学习，并且可以概括词对和依赖路径的共现。该模型可以用来扩充语料库中不共现的词对的路径数据，并从词对中提取捕捉关系信息的特征。我们的实验结果表明，我们的方法改进了以前的神经方法的依赖路径，并成功地解决了集中的问题。
2018-09-10 cs.CL
Evaluating Semantic Rationality of a Sentence: A Sememe-Word-Matching Neural Network based on HowNet
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
语义合理性的自动评价是一项重要而又具有挑战性的任务，现有的自动技术不能很好地识别句子的语义是否合理。基于语言模型的方法不是用合理性来衡量句子，而是用共性来衡量句子。基于与人类书面句子相似性的方法在没有人类书面参考文献的情况下会失效。本文提出了一种新的模型--义素词匹配神经网络（SWM-NN），利用义素知识库知网来解决语义合理性评价问题。其优点是，我们的模型可以利用一个适当的义位组合来表示一个词在特定的上下文中的细粒度的语义含义。我们使用细粒度的语义表示来帮助模型学习词之间的语义依赖。为了评估所提出的模型的有效性，我们建立了一个大规模的合理性评估数据集。在该数据集上的实验结果表明，该模型比竞争基线的准确率提高了5.4%。
2018-09-11 cs.CL
Semantically-Aligned Equation Generation for Solving and Reasoning Math Word Problems
National Taiwan University（国立台湾大学）
解决数学应用题是一项具有挑战性的任务，需要准确的自然语言理解来连接自然语言文本和数学表达式。基于人类对数学应用题文本生成公式的直觉，提出了一种基于文本语义的符号操作神经网络方法，用于数学应用题的自动求解.本文将方程的生成过程视为语义世界和符号世界之间的桥梁，提出的神经数学求解器基于编码器-解码器框架。在该模型中，编码器被设计为理解问题的语义，而解码器则专注于跟踪生成的符号的语义，然后决定下一步生成哪个符号。初步的实验是在一个数据集Math 23 K，我们的模型显着优于国家的最先进的单一模型和最好的非检索为基础的模型超过约10%的准确性，证明了有效的桥梁符号和语义世界的数学单词问题。
2019-06-09 cs.CL
Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔大学、法国国家科学研究中心、格勒诺布尔工业大学、信息与信号处理实验室）
在这篇文章中，我们解决了有限数量的手动意义标注语料库的词义消歧任务的问题，通过利用意义之间的语义关系，如同义关系，上位关系和下位关系，以压缩普林斯顿WordNet的意义词汇，从而减少必须观察到的不同的意义标签的数量，以消除词汇数据库中的所有单词的歧义。我们提出了两种不同的方法，大大减少了神经WSD模型的大小，其好处是提高其覆盖率，而无需额外的训练数据，并且不会影响其精度。除了我们的方法，我们提出了一个WSD系统，它依赖于预先训练的BERT词向量，以实现的结果，显着优于所有WSD评估任务的最先进的。
2019-08-27 cs.CL
Effects of High-Order Co-occurrences on Word Semantic Similarities
Laboratoire Leibniz-IMAG（莱布尼茨-IMAG实验室）；CNRS（法国国家科学研究中心）；L.P.C（语言与沟通实验室）；Université de Provence（普罗旺斯大学）
建立了一个通过文本构建词义的计算模型，内置的逐段模拟共现值对词义相似度的影响。语义相似性在这里被视为关联。结果表明，两个词W1和W2之间的相似性随着同现而强烈增加，随着W1没有W2或W2没有W1的出现而降低，并且随着高阶同现而略微增加。因此，将相似性操作化为共现频率可能会引入偏差：首先，有些情况下存在相似性而没有共现，其次，共现频率高估了相似性。
2008-04-01 cs.CL
Measuring Context-Word Biases in Lexical Semantic Datasets
University of Cambridge（剑桥大学）
最先进的预训练情境化模型（PCM），例如BERT使用诸如WiC和WSD之类的任务来评估它们的词在上下文中的表示。这本质上假设这些任务的性能反映了模型表示耦合的单词和上下文语义的程度。我们质疑这一假设，提出了第一个定量分析的上下文-词的相互作用正在测试中的主要上下文词汇语义任务。为了实现这一目标，我们在屏蔽输入上运行探测基线，并提出措施来计算和可视化现有数据集中的上下文或单词偏见的程度。对模型和人进行分析。我们的研究结果表明，模型通常不会像人类在这些任务中那样进行上下文语义测试，这有助于我们更好地理解模型与人类之间的差距。具体来说，对于PCM，大多数现有的数据集都属于极端（基于检索的任务表现出强烈的目标词偏见，而WiC风格的任务和WSD表现出强烈的上下文偏见）;相比之下，当单词和上下文都可用时，人类的偏见更少，并且比掩蔽输入的性能更好。我们推荐我们的框架来理解和控制这些偏差，用于模型解释和未来的任务设计。
2022-12-08 cs.CL
Paraphrasing, textual entailment, and semantic similarity above word level
Universidad de Barcelona（巴塞罗那大学）
本论文探讨了两个或多个复杂的语言表达（短语，从句，句子，段落）之间的意义关系的语言和计算方面。特别是，它侧重于释义，文本蕴涵，矛盾和语义相似性。第一部分：在"词语层面的相似性"一文中，笔者研究了分布假设，并探讨了几种不同的方法来量化词语和短语层面的语义相似性。第二部分：在“释义类型与释义识别”一章中，我重点讨论了释义的意义关系和释义自动识别的实验任务。第三部分："释义、语篇蕴涵和语义相似"是本文在对释义、语篇蕴涵、矛盾和语义相似进行联合研究的基础上提出的一个新的语篇意义关系研究方向。
2022-08-10 cs.CL
IRB-NLP at SemEval-2022 Task 1: Exploring the Relationship Between Words and Their Semantic Representations
Ruđer Bošković Institute（鲁杰尔·博什科维奇研究所）
一个词和它的描述，或者一个词和它的嵌入之间的关系是什么？描述和嵌入都是词的语义表征。但是，在这些表征中保留了来自原始词的哪些信息呢？或者更重要的是，这两种表征共享了关于一个词的哪些信息？定义建模和反向词典是解决这些问题的两个相反的学习任务。定义建模任务的目标是研究隐藏在词嵌入中的信息的力量，以人类可理解的方式表达单词的含义-作为字典定义。相反，反向词典任务探索直接从定义预测词嵌入的能力。在本文中，通过处理这两个任务，我们正在探索词和它们的语义表征之间的关系。我们根据对CODWOE数据集进行的描述性、探索性和预测性数据分析提出了我们的研究结果。我们详细介绍了我们为定义建模和反向字典任务设计的系统，并在SemEval-2022 CODWOE挑战赛的几个子任务中获得了最高分。我们希望我们提供的有关预测模型和数据分析的实验结果将被证明对未来单词表示及其关系的探索有用。
2022-05-13 cs.CL
Quantifying the Contextualization of Word Representations with Semantic Class Probing
LMU Munich（慕尼黑大学）；Microsoft Turing（微软图灵）
预训练的语言模型在许多NLP任务上已经达到了新的艺术水平，但关于它们如何以及为什么工作得这么好，仍然有许多悬而未决的问题。我们研究了BERT中词语的语境化。我们量化了情境化的数量，即，通过研究一个词的语义类别在多大程度上可以从它的语境化嵌入中推断出来，来研究词在语境中的解释情况。量化语境化有助于理解和利用预训练的语言模型。我们发现，顶层表示实现高精度推断语义类;最强的语境化效应发生在较低的层;本地上下文大多是足够的语义类推理;和顶层表示更具体的任务后微调，而较低层表示更可转移。微调揭示了任务相关的特征，但预训练的知识仍然在很大程度上被保留下来。
2020-10-11 cs.CL
Exploiting Word Semantics to Enrich Character Representations of Chinese Pre-trained Models
Peking University（北京大学）
大多数中文预训练模型采用字符作为下游任务的基本单元。然而，这些模型忽略了词所携带的信息，从而导致一些重要语义的丢失。在本文中，我们提出了一种新的方法来利用单词结构，并将词汇语义集成到预训练模型的字符表示中。具体地说，我们根据相似性权重将单词的嵌入映射到其内部字符的嵌入中。为了增强词边界信息，我们混合了词内部字符的表示。之后，我们应用一个字到字对齐注意力机制，通过掩盖不重要的字符来强调重要的字符。此外，为了减少分词引起的错误传播，我们提出了一种集成方法来组合不同标记器给出的分割结果。实验结果表明，在不同的中文NLP任务：情感分类、句对匹配、自然语言推理和机器阅读理解上，我们的方法取得了优于基本预训练模型BERT、BERT-wwm和ERNIE的性能。并进一步分析了模型各组成部分的有效性。
2022-07-13 cs.CL
SimRelUz: Similarity and Relatedness scores as a Semantic Evaluation dataset for Uzbek language
Urgench State University（乌尔根奇国立大学）；CITIC
词与词之间的语义相关性是自然语言处理的核心概念之一，因此语义评价是一项重要的任务。在本文中，我们提出了一个语义模型评估数据集：SimRelUz -低资源乌兹别克语的词对的相似性和相关性得分的集合。该数据集由一千多对词组成，这些词是根据其形态特征、出现频率、语义关系精心挑选的，并由来自不同年龄组和性别的11位乌兹别克语母语者注释。我们还关注了处理稀有词和词汇表外词的问题，以全面评估语义模型的鲁棒性。
2022-05-12 cs.CL
Semantic Holism and Word Representations in Artificial Neural Networks
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
人工神经网络是解决自然语言处理中许多问题的最新解决方案。从人工神经网络的表现方式中，我们能学到什么关于语言和意义的知识？从word 2 vec模型的Skip-gram变体获得的单词表示表现出有趣的语义特性。这通常是通过引用一般分布假设来解释的，该假设认为单词的含义是由它出现的上下文给出的。我们提出了一个更具体的方法的基础上弗雷格的整体和功能的意义。以Tugendhat的正式重新解释弗雷格的工作为出发点，我们表明，它是类比的训练过程中的跳跃-gram模型，并提供了一个可能的解释其语义属性。
2020-03-11 cs.CL
How COVID-19 Is Changing Our Language : Detecting Semantic Shift in Twitter Word Embeddings
École Polytechnique（巴黎综合理工学院）；AUEB（雅典经济与商业大学）
文字是可塑的物体，受到书面文本中反映的事件的影响。在全球爆发COVID-19的背景下，我们的研究旨在检测由健康危机引发的社交媒体语言的语义转变。利用从Twitter中提取的COVID-19相关大数据，我们针对疫情爆发后的不同时间段，对单独的词嵌入模型进行了训练。我们采用了一种基于嵌入的方法，将这些嵌入与一个与COVID-19无关的通用Twitter嵌入进行比较。我们还比较了它们之间的训练嵌入，以观察历时演变。通过对一组由话题检测所选择的词进行案例研究，我们验证了我们的对齐方法是有效的。最后，我们量化的规模的全球语义转移的稳定性措施的基础上来回旋转对齐。
2021-02-15 cs.CL
Contextual Semantic Relevance and Word Surprisal Predict N400 and P600 Dynamics During Naturalistic Reading
Tongji University（同济大学）；University of Tuebingen（图宾根大学）
研究借助语料库，通过回归分析等测试语境语义相关性和词惊喜度对脑电活动的预测，发现二者与脑电反应相关但模式有别，语境语义相关性在P600窗口解释力强，表明自然阅读依赖二者，其提供了话语语义与脑电动态的计算联系。
2026-07-08 cs.CL
Word Ladders: A Mobile Application for Semantic Data Collection
University of Bologna（博洛尼亚大学）
本文介绍了一款名为 Word Ladders 的免费移动应用，用于在 Abstraction 项目框架下收集具有范畴包含语义关系的词语列表，并阐述了其游戏逻辑、动机及在 NLP 和认知科学研究中的预期应用。
2024-03-29 cs.CL
Specializing Unsupervised Pretraining Models for Word-Level Semantic Similarity
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
无监督预训练模型已被证明可以促进广泛的下游NLP应用。然而，这些模型保留了传统静态词嵌入的一些局限性。特别是，它们只编码原始文本语料库中可用的分布知识，通过语言建模目标合并。在这项工作中，我们补充这样的分布知识与外部词汇知识，也就是说，我们集成的离散知识词级语义相似度的预训练。为此，我们将标准的BERT模型推广到多任务学习环境中，在该环境中，我们将BERT的掩蔽语言建模和下一个句子预测目标与二进制词关系分类的辅助任务相结合。我们的实验表明，我们的“词汇知情”BERT（LIBERT），专门为词级语义相似性，产生更好的性能比词汇盲“香草”BERT在几个语言理解任务。具体地说，LIBERT在GLUE基准测试的10个任务中有9个优于BERT，在剩下的一个任务中与BERT不相上下。此外，我们在词汇简化的3个基准上显示出一致的收益，这是一项关于单词级语义相似性的知识至关重要的任务。
2020-04-20 cs.CL
Generating Sense Embeddings for Syntactic and Semantic Analogy for Portuguese
Federal University of São Carlos（圣卡洛斯联邦大学）
词嵌入是在低维连续空间中表示词或概念的数值向量。这些向量能够捕获有用的句法和语义信息。Word2Vec、GloVe和FastText等传统方法有一个严重的缺点：它们为每个单词生成一个单一的向量表示，忽略了歧义单词可能具有不同含义的事实。在本文中，我们使用的技术来生成意义嵌入，并提出了第一个实验进行葡萄牙语。我们的实验表明，意义向量优于传统的词向量在句法和语义类比任务，证明这里生成的语言资源可以提高葡萄牙语的NLP任务的性能。
2020-01-21 cs.CL
Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
语义框架归纳的最新研究表明，通过使用基于聚类的方法和上下文化的词嵌入，已经取得了相对较高的性能。然而，这些方法存在两个潜在的缺陷：一是过于关注框架诱发动词的表面信息，二是倾向于将同一动词的实例划分为过多的不同框架簇。为了克服这些缺点，我们提出了一个语义框架归纳方法，使用屏蔽词嵌入和两步聚类。通过对英语FrameNet数据的实验，我们证明了使用屏蔽的词嵌入可以有效地避免对引起框架的动词的表面信息的过度依赖，并且两步聚类可以提高相同动词实例的框架聚类的数量。
2021-05-27 cs.CL
