The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures;University of Edinburgh(爱丁堡大学)
我们描述了一个可视化工具,可以用来查看随着时间的推移,在单词的含义的变化。该工具利用现有的(静态)单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
Temporal Word Meaning Disambiguation using TimeLMs
Pune Institute of Computer Technology(浦那计算机技术学院)
在现代文明中,词语的含义不断变化。大语言模型使用词嵌入,这通常是静态的,因此不能处理这种语义变化。因此,解决词义的歧义是很重要的。本文是在这个方向上的努力,我们探索的EvoNLP共享任务的词义消歧的方法。我们进行严格的消融两个解决方案,这个问题。我们看到,使用时间感知语言模型的方法有助于这项任务。此外,我们探讨这个问题的未来可能的方向。
2022-11-17 cs.CL
Detecting New Word Meanings: A Comparison of Word Embedding Models in Spanish
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Polytechnique Montréal(蒙特利尔综合理工学院)
语义新词是指在保持原有形式的同时获得新的词义的词。鉴于这类新词的性质,识别这些新词含义的任务目前由新词观测站的专家手动执行。为了以半自动的方式检测SN,我们开发了一个系统,该系统实现了以下策略的组合:主题建模,关键字提取和词义消歧。主题建模的作用是检测输入文本中处理的主题。文本中的主题提供了关于所用单词的特定含义的线索,例如:viral在计算机科学(CS)的上下文中有一个含义,而在谈论健康时有另一个含义。为了提取关键字,我们使用了带有POS标签过滤的TextRank。通过这种方法,我们可以获得已经是西班牙语词汇的一部分的相关单词。我们使用一个深度学习模型来确定一个给定的关键字是否有新的含义。与所有已知含义(或主题)不同的嵌入表示单词可能是有效的SN候选。在这项研究中,我们研究了以下词嵌入模型:Word2Vec,Sense2Vec和FastText。使用西班牙语维基百科作为语料库,使用等效参数对模型进行训练。然后,我们使用一个单词列表及其索引(从我们的新词数据库中获得)来显示每个模型产生的不同嵌入。最后,我们将这些结果与每个单词的一致性进行比较,以显示我们如何确定一个单词是否可以作为SN的有效候选。
2020-01-12 cs.CL
Shades of meaning: Uncovering the geometry of ambiguous word representations through contextualised language models
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本研究利用上下文语言模型进行模拟,发现其词表征能区分无歧义词、同形异义词和多义词,且与词典分类及心理学理论一致,为词汇歧义的心理学解释提供定量支持。
2023-04-26 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用,但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中,我们评估如何以及这些表示可以预测具体概念的感知和概念特征,借鉴两个语义规范数据集来自人类参与者。我们发现,几个标准的单词表征未能编码概念的许多显着的感知特征,并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机,这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Emergence of Pragmatics from Referential Game between Theory of Mind Agents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
语用学研究语境如何影响语言意义。在人类交流中,语言从来不会脱离上下文来解释,句子通常可以传达比字面意思更多的信息。然而,这种机制在大多数多智能体系统中是缺失的,限制了通信效率和人与智能体交互的能力。在本文中,我们提出了一个算法,使用该算法,代理可以自发地学习的能力,“读线之间”,没有任何明确的手工设计的规则。我们整合了心理理论(ToM)在合作的多智能体教学的情况下,并提出了一个自适应的强化学习(RL)算法开发的通信协议。心理理论是一个深刻的认知科学概念,认为人们经常推理他人的心理状态,包括信念,目标和意图,以获得竞争,合作或联盟中的表现优势。有了这种能力,智能体认为语言不仅是信息,而且是反映他人隐藏状态的理性行为。我们的实验证明了语用协议的优势,非语用协议。我们还表明,教学复杂性的语用协议经验接近递归教学维度(RTD)。
2021-09-30 cs.AI cs.CL cs.LG
WiC: the Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations
University of Cambridge(剑桥大学);Tehran Institute for Advanced Studies (TeIAS)(德黑兰高等研究院(TeIAS));Cardiff University(卡迪夫大学)
通过设计,词嵌入不能够对词的语义的动态性质进行建模,即,词对应于潜在的不同含义的特性。为了解决这一限制,几十个专门的意义表示技术,如意义或上下文嵌入已被提出。然而,尽管这个主题的研究很受欢迎,很少有评估基准存在,专门专注于动态语义的话。在本文中,我们表明,现有的模型已经超过了标准评估数据集的性能上限,即,斯坦福大学的语境词相似度,并指出其不足之处。为了解决缺乏合适的基准测试的问题,我们提出了一个大规模的Word in Context数据集,称为WiC,基于专家策划的注释,用于上下文敏感表示的通用评估。WiC在https://pilehvar.github.io/wic/上发布。
2019-04-27 cs.CL
Meaning Sort - Three examples: dictionary construction, tagged corpus construction, and information presentation system
它通常是有用的排序词到一个顺序,反映了他们的意义之间的关系,通过使用同义词词典。本文介绍了一种利用几种类型的“{ \sf is-a}”叙词表和一个多维叙词表进行语义排词的方法。我们还描述了三个主要的应用程序中的意义排序是有用的,并显示了意义排序的有效性。毫无疑问,按意义顺序排列的词表比按某种随机顺序排列的词表更容易使用,因此,可以很容易地产生按意义顺序排列的词表的意义排序一定是有用和有效的。
2001-03-12 cs.CL
Word meaning co-determines vowel-inherent spectral change. A corpus-based investigation of conversational Mandarin
Eberhard Karls Universität Tübingen(图宾根大学);Center for Language Studies, Radboud University(拉德堡德大学语言研究中心)
研究汉语会话中元音固有频谱变化,用广义相加模型和词嵌入,发现控制多变量时元音共振峰轨迹有与词义相关特定成分,可由语境化嵌入预测,挑战了语音产生模块化认知模型,揭示词义对发音细节的影响。
2026-07-24 cs.CL
From cart to truck: meaning shift through words in English in the last two centuries
Universidad de Costa Rica(哥斯达黎加大学)
本研究利用历时词嵌入探索1800至2000年英语词汇意义演变,通过word2vec和正交Procrustes方法揭示语言与社会变迁的联系,并讨论方法局限与伦理问题。
2024-08-29 cs.CL
The Geometry of Culture: Analyzing Meaning through Word Embeddings
University of Chicago(芝加哥大学);University of Chicago, Booth School of Business(芝加哥大学布斯商学院);Amazon(亚马逊公司)
我们展示了一种新的方法工具,神经网络词嵌入模型,用于大规模文本分析的实用性,揭示了这些模型如何产生更丰富的见解文化协会和类别比可能与以前的方法。词嵌入将词之间的语义关系表示为高维空间中向量之间的几何关系,使符合当代身份和文化理论的意义关系模型可操作化。我们发现,在这些向量空间中,由词的差异(例如,男人-女人,富人-穷人,黑人-白人,自由-保守)引起的维度与文化意义的维度密切对应,并且与调查响应和标记的历史数据相比,词在这些维度上的投影反映了广泛共享的文化内涵。我们试点的方法来测试这些协会的稳定性,然后展示应用词嵌入的宏观文化调查与纵向分析的共同演变的性别和阶级协会在美国在20世纪和历史的区别之间的比较分析标记的性别和阶级在美国和英国。我们认为,这些高维模型的成功激励走向“高维理论化”的意义,身份和文化过程。
2018-03-25 cs.CL
A Neural Language Model for Dynamically Representing the Meanings of Unknown Words and Entities in a Discourse
Preferred Networks, Inc.(Preferred Networks 公司);Tokyo Institute of Technology(东京工业大学);Tohoku University(东北大学);RIKEN(理化学研究所)
本研究针对神经语言模型中使用的词嵌入方法来识别语篇中未知词或实体的意义。我们提出了一种通过跟踪上下文在神经模型的输入和输出层中动态构建和利用词嵌入的方法。这扩展了Kobayashi et al.(2016)中使用的动态实体表示,并结合了Gu et al.(2016)和Gulcehre et al.(2016)独立提出的复制机制。此外,我们还构建了一个新的任务和数据集,称为Ancesturized Language Modeling,用于评估阅读时捕捉词义的能力。使用我们的新数据集进行的实验表明,所提出的RNN语言模型变体优于基线模型。此外,实验还表明,输出层的动态更新有助于模型预测再现实体,而输入层的动态更新则可有效预测再现实体后面的单词。
2017-10-17 cs.CL
From meaning to perception -- exploring the space between word and odor perception embeddings
University of Copenhagen(哥本哈根大学)
在本文中,我们建议使用Word 2 vec算法,以获得气味感知嵌入(或气味嵌入),只使用公开的香水描述。这些嵌入除了显示出彼此之间有意义的相似关系外,还显示出与各自的词嵌入具有一些共享信息。这些嵌入的意义表明,美学可能会提供足够的约束,在非随机组合的数据上使用分布式语义驱动的算法。此外,它们为气味分类和香水分析提供了新的方法。我们还采用了嵌入,试图了解香水的美学性质,基于真实和随机生成的香水之间的差异。在另一个试验性实验中,我们探索了词嵌入空间和气味感知嵌入空间之间映射的可能性,通过在共享词汇上拟合回归量,然后预测没有先验相关气味的词的气味感知嵌入,例如夜晚或天空。
2022-03-19 cs.CL
Learning the meanings of function words from grounded language using a visual question answering model
McGill University(麦吉尔大学);Mila – Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);Stanford University(斯坦福大学)
本文研究视觉问答模型如何从基于视觉基础的语言中学习功能词含义,发现循环模型能通过非符号化统计学习掌握逻辑、空间和数值功能词语义,且学习难度受输入频率影响。
2024-04-22 cs.CL
JeSemE: A Website for Exploring Diachronic Changes in Word Meaning and Emotion
Graduate School ‘The Romantic Model’(“浪漫主义模式”研究生院);Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学)
我们在这里介绍了一个大大扩展版本的JeSemE,一个交互式网站,用于可视化地探索计算得出的时变信息的词义和词汇的情绪,从五个大的历时文本语料库组装。JeSemE是专为(数字)人文学科的学者设计的,作为查阅手动编译的替代方案,印刷字典以获取此类信息(如果有的话)。这个工具独特地结合了最先进的分布式语义与人类情感的细微差别模型,我们认为这两个信息流有利于人文文本的数据驱动解释。
2020-12-18 cs.CL
Evaluation of Automatically Constructed Word Meaning Explanations
Masaryk University(马萨里克大学)
编写准确、全面的词义解释是单语词典编纂过程中的关键环节之一。在标准的方法论中,解释需要一个专业的词典编纂者花大量的时间检查描述性文本和语料库证据之间的一致性。在下面的文本中,我们提出了一种新的工具,它可以根据来自非常大的语料库的集体信息,特别是单词草图,自动导出解释。我们还提出了一个定量评估的建设性的解释,集中在名词的解释。该方法在一定程度上是语言独立的;然而,所提出的验证仅限于捷克语和英语。我们表明,所提出的方法允许创建解释,其中包含的数据有助于理解单词的含义在大约90%的情况下。然而,在许多情况下,结果需要后期编辑以删除冗余信息。
2023-02-27 cs.CL
Systematic word meta-sense extension
University of Toronto(多伦多大学)
本文提出了系统性词语元义延伸(SWORME)任务以测试并提升语言模型推导非字面词义的能力,发现模型擅长渐进式语义延伸而难以预测隐喻,并提出基于类比的方法有效提升了模型延伸能力及在修辞语言理解基准上的表现。
2023-11-21 cs.CL
Exploring the Representation of Word Meanings in Context: A Case Study on Homonymy and Synonymy
CiTIUS – Research Center in Intelligent Technologies(CiTIUS——智能技术研究中心);Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本文提出了一个多语种的研究,在上下文中的词义表征。我们评估的能力,静态和上下文模型,以充分代表不同的词汇语义关系,如同音异义和同义。为此,我们创建了一个新的多语言数据集,使我们能够对多个因素进行受控评估,例如周围环境的影响或单词之间的重叠,传达相同或不同的含义。通过对四种情景的系统评估表明,基于Transformers的最佳单语模型可以充分消除上下文中的同音异义词。然而,由于它们严重依赖于上下文,这些模型无法表示在相似句子中出现的具有不同含义的单词。实验用加利西亚语、葡萄牙语、英语和西班牙语进行,数据集(有3,000多个评估项目)和新模型都随本研究免费发布。
2021-06-29 cs.CL
Semi-Supervised Affective Meaning Lexicon Expansion Using Semantic and Distributed Word Representations
University of Waterloo(滑铁卢大学)
在本文中,我们提出了一个扩展的基于图的情感词典归纳方法,通过将分布式和语义词表示在建立的相似性图,以扩大一个三维的情感词典。我们还使用四种不同的单词表示和相似性度量来实现和评估标签传播。我们对这四种方法的综合评估是在一个数据集上进行的,这表明所有四种方法都可以以高精度生成大量新的情感分配。通过结合语义和分布特征获得的最高相关性(tau=0.51)和最低误差(平均绝对误差< 1.1%)优于基于分布和基于语义的标签传播模型,并接近监督算法。
2017-03-28 cs.CL
Word Alignment-Based Evaluation of Uniform Meaning Representations
Charles University Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics (ÚFAL)(查理大学数学物理学院形式与应用语言学研究所(ÚFAL))
本文提出基于词对齐的统一意义表示比较方法,通过分析词对齐关系提高语义表示比较的直观性和可解释性,避免了smatch的NP难搜索问题。
2026-03-27 cs.CL
Using Deep Mixture-of-Experts to Detect Word Meaning Shift for TempoWiC
Netease Inc.(网易公司)
本文主要描述了TempoWiC任务的DMA提交,该任务的宏F1得分达到77.05%,在该任务中获得第一名。我们首先探讨不同预训练语言模型的影响。然后采用数据清洗、数据增强和对抗性训练策略来提高模型的泛化能力和鲁棒性。为了进一步改进,我们集成POS信息和单词语义表示使用混合专家模型(MoE)的方法。实验结果表明,MoE能很好地结合上下文、词性和词的语义特征,克服特征过度使用的问题。此外,我们使用一个模型集成的方法进行最终的预测,这已被许多研究工作证明是有效的。
2022-11-07 cs.CL
Joint Semantic Synthesis and Morphological Analysis of the Derived Word
Johns Hopkins University(约翰斯·霍普金斯大学);LMU Munich(慕尼黑大学)
就像句子由单词组成一样,单词本身也是由更小的单位组成的。例如,英语单词questionably可以分析为question+able+ly。然而,这个词的结构分解并不直接给我们一个词的意义的语义表示。由于形态学遵循组合性原则,词的语义可以系统地从其组成部分的意义中推导出来。在这项工作中,我们提出了一种新的概率模型的单词形成,捕捉到一个词w到其组成部分的分析和合成的意义w从这些部分的意义。我们的模型共同学习将单词分割成词素,并组成这些词素的分布语义向量。我们在英语CELEX数据和德语DerivBase(Zeller等人,2013)数据。我们发现,联合建模语义提高了分割精度和词素F1之间的3%和5%。此外,我们研究了不同的向量组合模型,表明递归神经网络比简单的加法模型有改进。最后,我们研究的程度表示对应的语言学家的概念形态生产力。
2018-11-10 cs.CL
Enriching Word Embeddings with Temporal and Spatial Information
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
一个词的意义与社会文化因素密切相关,这些因素会随着时间和地点的变化而变化,从而导致相应的意义变化。在广泛使用的语言(如英语)中对单词及其含义进行全面的审视,可能需要我们捕捉更精确的语义,以用于特定时间或位置感知的情况,如文化趋势或语言使用的研究。然而,流行的词的矢量表示不充分包括时间或空间信息。在这项工作中,我们提出了一个模型,学习单词表示条件的时间和位置。除了捕捉随着时间和地点的意义变化,我们要求得到的词嵌入保留突出的语义和几何属性。我们训练我们的模型上的时间和位置标记语料库,并使用定量和定性的评估,它可以捕捉跨时间和地点的语义。我们注意到,我们的模型与特定时间嵌入的最新技术相比毫不逊色,并作为特定位置嵌入的新基准。
2020-10-02 cs.CL
On the Linearity of Semantic Change: Investigating Meaning Variation via Dynamic Graph Models
Technische Universität Darmstadt(达姆施塔特工业大学);Goethe-Universität Frankfurt am Main(法兰克福歌德大学)
我们考虑两个图形模型的语义变化。第一种是时间序列模型,它将一个时间段的嵌入向量与先前时间段的嵌入向量相关联。在第二种方法中,我们为每个单词构建一个图:图中的节点对应于时间点,边权重对应于两个时间点上单词含义的相似性。我们将这两个模型应用于三种不同语言的语料库。我们发现语义变化在两个方面都是线性的。首先,今天的词的嵌入向量(=含义)可以被导出为它们的邻居在以前的时间段中的嵌入向量的线性组合。其次,词的自相似性随时间线性衰减。我们认为这两个发现作为新的法律/语义变化的假设。
2017-04-08 cs.CL
Syntagma Lexical Database
本文讨论了Syntagma词汇数据库的结构(主要针对意大利语)。基本数据库由四个表组成。表格表单包含词形变化,POS标记器使用这些词形变化来识别输入词。形式与引理有关。表引理存储了词的各种语法特征、词级语义数据和约束条件。在表Meanings中存储与意义相关的数据:定义,示例,域和语义信息。表配价包含每个意义的论元结构,以及每个论元的句法和语义特征。SLD的扩展版本包含到Syntagma的语义网和其他语言的WordNet同义词集的链接。
2015-03-19 cs.CL
Calculating Probabilities Simplifies Word Learning
University of Toronto(多伦多大学)
孩子们可以利用他们所处环境的统计数据来学习词义,这种机制被称为跨情境学习。我们采用计算的方法来研究在跨情境框架下,每次观察过程中出现的信息如何影响词义的整体习得。我们通过制定各种即时学习机制来实现这一点,这些机制对环境的不同统计数据(如计数和条件概率)敏感。每种机制都为模型引入了一个独特的竞争或互斥偏差源;最大限度地利用模型对词义的知识的机制表现最好。此外,这种机制与其他机制之间的差距在更具挑战性的学习场景中被放大,例如从很少的例子中学习。
2017-02-22 cs.CL
AM2iCo: Evaluating Word Meaning in Context across Low-Resource Languages with Adversarial Examples
University of Cambridge(剑桥大学);Mila/McGill University(米拉/麦吉尔大学)
在上下文中捕获词义并区分不同语言之间的对应和变化是构建成功的多语言和跨语言文本表示模型的关键。然而,现有的多语言评估数据集,评估词汇语义“在上下文”有各种限制。特别是,1)他们的语言覆盖范围仅限于高资源语言,并且只偏向于少数几个语系和地区,2)通过表面线索使任务可以解决的设计,这导致人为夸大预训练编码器在许多目标语言上的(有时是超人的)性能,这限制了它们对模型探测和诊断的有用性,3)对跨语言评价的支持不足。为了解决这些差距,我们提出了AM 2 iCo(上下文中的对抗和多语言含义),这是一个广泛覆盖的跨语言和多语言评估集;它旨在忠实地评估最先进的(SotA)表示模型在14种语言对的跨语言上下文中理解词义身份的能力。我们在广泛的设置中进行了一系列实验,并展示了AM 2 iCo的挑战性。结果显示,目前SotA预训练的编码器大大落后于人类的表现,并且在低资源语言和与英语不同的语言中观察到最大的差距。
2021-09-19 cs.CL
IdioLink: Retrieving Meaning Beyond Words Across Idiomatic and Literal Expressions
Data Science Institute, Reichman University(雷赫曼大学数据科学学院);Efi Arazi School of Computer Science, Reichman University(雷赫曼大学埃菲·阿拉兹计算机科学学院);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文提出IdioLink检索基准,旨在测试模型能否将隐喻表达与直述或改写形式的概念等价意义联系起来,揭示当前模型在隐喻语义检索中的不足。
2026-05-21 cs.CL
Decomposing predictability: Semantic feature overlap between words and the dynamics of reading for meaning
University of Wuppertal(伍珀塔尔大学)
本研究采用计算的方法来考察语义限制在正常阅读中的作用。这种方法避免了传统的可预测性措施固有的混乱,允许在理论上更深入的语义处理帐户。我们从一个词之间的关联的定义的基础上显着的日志可能性,两个词共同出现在一个大型文本语料库的句子经常在一起。刺激词之间的直接关联被控制,启动词和目标词之间的语义特征重叠被它们的共同关联所操纵。刺激由代词、动词、冠词、形容词和名词等形式的句子组成,然后是一系列封闭类词,如。G.“她骑着灰象踏上了她众多探索之旅中的一次”结果表明,动名重叠减少了目标名词的单一注视和首次注视时间,形容词重叠减少了过去注视时间。激活的动态传播的帐户表明,联想的启动词需要一段时间才能成为激活:动词可以对目标名词的早期眼动措施提出三个字后,而形容词是之前提出的目标,这导致句子重新检查后,困难的形容词-名词语义整合。
2019-12-06 cs.CL
A quantum teleportation inspired algorithm produces sentence meaning from word meaning and grammatical structure
University of Cambridge(剑桥大学);University of Oxford(牛津大学);Queen Mary, London(伦敦玛丽女王大学)
我们讨论了一种算法,它产生一个句子的意义,给出它的单词的含义,以及它与量子隐形传态的相似之处。事实上,该协议是该算法的主要灵感来源,该算法在自然语言处理领域有许多应用。
2013-10-11 cs.CL quant-ph
The Frobenius anatomy of word meanings I: subject and object relative pronouns
Queen Mary University of London(伦敦玛丽女王大学);University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本文在范畴框架内建立了一个基于合成向量的主语和宾语关系代词语义。Frobenius代数用于形式化建模关系代词语义所需的操作,包括在关系从句和修饰的名词短语之间传递信息,以及复制,组合和丢弃关系从句的部分。我们开发了两个实例的抽象语义,一个基于真理理论的方法和语料库统计的基础上。
2014-04-21 cs.CL
Still a Pain in the Neck: Evaluating Text Representations on Lexical Composition
Bar-Ilan University(巴伊兰大学)
构建有意义的短语表示是具有挑战性的,因为短语含义不仅仅是其组成含义的总和。词汇合成可以改变组成词的意义,引入隐含信息。我们测试了广泛的文本表示,以解决这些问题的能力。我们发现,正如预期的那样,语境化的词表征比静态的词嵌入表现更好,更多的是在检测意义转移比在恢复隐含信息,其中他们的表现仍然是远离人类。我们的评估套件,包括5个任务相关的词汇组成的影响,可以为未来的研究,旨在改善这种表征。
2019-05-19 cs.CL
Surfacing contextual hate speech words within social media
National Tsinghua University(清华大学)
社交媒体平台最近出现了仇恨言论话语的增加,这导致了对改进检测方法的呼吁。其中大多数依赖于注释数据、关键字和分类技术。虽然这种方法提供了很好的覆盖面,但在处理网上极端主义社区产生的新术语时,这种方法可能不够,因为这些新术语是具有其他仇恨言论含义的单词的原始来源。这些暗语(既可以是创造的,也可以是被采用的)被设计成逃避自动检测,并且在常规话语中通常具有善意的含义。例如,“skypes”、“googles”和“yahoos”都是具有可用于仇恨言论的替代含义的单词的实例。这种重叠在依赖于收集仇恨言论特定数据和下游分类的关键词时带来了额外的挑战。在这项工作中,我们开发了一种社区发现方法,用于发现极端主义仇恨言论社区并从其成员那里收集数据。我们还开发了一个词嵌入模型,该模型学习单词的替代仇恨言论含义,并通过几个注释实验证明了我们的代码词的候选资格,旨在确定是否有可能在不知道其替代含义的情况下识别一个词用于仇恨言论。我们报告的注释者间的协议率K=0.871,K=0.676分别从我们的极端主义社区和关键字的方法,支持我们的说法,仇恨言论检测是一个上下文的任务,并不依赖于一个固定的关键字列表。我们的目标是通过提供高质量的仇恨言论数据集以及可以输入现有分类方法的学习代码来推进该领域,从而提高自动检测的准确性。
2017-11-28 cs.CL
Semantic Holism and Word Representations in Artificial Neural Networks
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
人工神经网络是解决自然语言处理中许多问题的最新解决方案。从人工神经网络的表现方式中,我们能学到什么关于语言和意义的知识?从word 2 vec模型的Skip-gram变体获得的单词表示表现出有趣的语义特性。这通常是通过引用一般分布假设来解释的,该假设认为单词的含义是由它出现的上下文给出的。我们提出了一个更具体的方法的基础上弗雷格的整体和功能的意义。以Tugendhat的正式重新解释弗雷格的工作为出发点,我们表明,它是类比的训练过程中的跳跃-gram模型,并提供了一个可能的解释其语义属性。
2020-03-11 cs.CL
BERT's Conceptual Cartography: Mapping the Landscapes of Meaning
University of Cambridge(剑桥大学)
针对概念工程低估词汇用法多样性的问题,研究结合BERT与英国国家语料库口语语料构建概念景观,用高斯混合模型等方法表征分析,揭示词汇景观的独特复杂性,指出概念优化无法采用一刀切方法。
2024-08-13 cs.CL
Learning Topic-Sensitive Word Representations
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学院)
分布式单词表示广泛用于NLP任务中的单词建模。大多数现有的模型生成一个表示每个字,不考虑不同的含义的一个字。我们提出了两种方法来学习多个主题敏感的表示,每个词使用分层Dirichlet过程。我们观察到,通过对每个文档的主题建模和整合主题分布,我们获得了能够区分给定单词的不同含义的表示。我们的模型产生统计上显着的改进,词汇替代任务表明,常用的单个单词表示,即使与上下文信息相结合,是不够的,这项任务。
2017-05-01 cs.CL
Contextualized Word Embeddings Encode Aspects of Human-Like Word Sense Knowledge
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
理解上下文相关的词义变化是词汇支持的人类语言理解的一个关键方面。词典资源(例如,WordNet)仅捕获这种依赖于上下文的变化中的一部分;例如,它们通常不编码意义或离散词义彼此之间的相关程度。我们的工作调查了NLP的最新进展,特别是语境化的词嵌入,是否捕捉到了英语词义之间的人类特征,如一词多义和同音异义。我们收集数据的行为,基于网络的实验中,参与者提供一个词的多个WordNet意义的相关性的判断在一个二维的空间安排任务。我们发现,被试对感觉之间的相关性的判断与BERT嵌入空间中感觉之间的距离相关。Homeland sense(Homeland sense)作为哺乳动物的蝙蝠对作为运动器材的蝙蝠)在嵌入空间中比多义的(例如,鸡是动物,鸡是肉。我们的研究结果指向意义的连续空间表征的潜在效用。
2020-10-25 cs.CL
Testing Causal Models of Word Meaning in GPT-3 and -4
Brown University(布朗大学)
本文通过 HIPE 理论和因果图测试 GPT-3 与 GPT-4 的词汇概念表征,发现 GPT-4 编码了理论假设的因果结构而 GPT-3 未表现出此能力,深化了对大模型表征能力的认知。
2023-05-24 cs.CL
HIT at SemEval-2022 Task 2: Pre-trained Language Model for Idioms Detection
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(科大讯飞研究院)
同样的多词表达在不同的句子中可能有不同的含义。它们主要分为字面意义和习语意义两大类。非基于上下文的方法在这个问题上表现不佳,我们需要上下文嵌入来正确理解多词表达的习惯意义。我们使用一个预先训练好的语言模型,它可以提供一个上下文感知的句子嵌入,以检测句子中的多词表达是否是惯用用法。
2022-04-13 cs.CL
Is Child-Directed Language Optimized for Word Learning? A Computational Study of Verb Meaning Acquisition
Center for Language and Cognition (CLCG), University of Groningen(语言与认知中心(CLCG),格罗宁根大学)
本文通过神经语言模型对比分析儿童导向语言与成人导向语言对动词意义学习的影响,发现口语领域中语义优先于语法发展,可能反映口语本身的特性而非儿童导向语言的独特优化。
2026-05-12 cs.CL
Theoretical foundations and limits of word embeddings: what types of meaning can they capture?
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
意义的测量是文化社会学的一个核心问题,而词嵌入可以提供强大的新工具来做到这一点。但就像任何工具一样,它们建立在理论假设之上并发挥作用。在本文中,我理论化的方式,其中词嵌入模型的三个核心前提的结构语言学理论的意义:意义是关系,连贯的,可以作为一个静态系统进行分析。在某些方面,词嵌入方法容易受到这些前提的相同的、持久的批评。在其他方面,他们为这些批评提供了新的解决方案。更广泛地说,用词嵌入形式化意义的研究为澄清文化社会学中的核心概念和争论提供了理论机会,例如意义的连贯性。正如网络分析明确了曾经模糊的社会关系概念(Borgatti et al. 2009),用嵌入方法形式化意义可以推动我们明确和重新想象意义本身。
2021-07-22 cs.CL cs.CY
Google distance between words
University of Connecticut(康涅狄格大学);University of Hawai‘i at Mānoa(夏威夷大学马诺阿分校)
Cilibrasi和Vitanyi已经证明,从万维网中提取单词的含义是可能的。为了实现这一点,他们依赖于通过Google搜索找到的包含给定单词的网页数量,并将页面计数与该单词出现在网页上的概率相关联。因此,条件概率允许他们将一个词与另一个词的含义联系起来。此外,他们还开发了一个相似距离函数,用于衡量一对单词的相关程度。我们提出了一个具体的反例,三角形不等式的相似距离函数。
2015-01-28 cs.CL
Paraphrasing, textual entailment, and semantic similarity above word level
Universidad de Barcelona(巴塞罗那大学)
本论文探讨了两个或多个复杂的语言表达(短语,从句,句子,段落)之间的意义关系的语言和计算方面。特别是,它侧重于释义,文本蕴涵,矛盾和语义相似性。第一部分:在"词语层面的相似性"一文中,笔者研究了分布假设,并探讨了几种不同的方法来量化词语和短语层面的语义相似性。第二部分:在“释义类型与释义识别”一章中,我重点讨论了释义的意义关系和释义自动识别的实验任务。第三部分:"释义、语篇蕴涵和语义相似"是本文在对释义、语篇蕴涵、矛盾和语义相似进行联合研究的基础上提出的一个新的语篇意义关系研究方向。
2022-08-10 cs.CL
Distributional Semantics, Holism, and the Instability of Meaning
University of Reading(雷丁大学);University of Pennsylvania(宾夕法尼亚大学)
本文探讨不稳定性反对意见对分布语义模型的影响,区分了绝对不稳定性和差异不稳定性,论证了差异不稳定性受词汇关系结构约束,允许意义产生变化同时避免交流问题。
2025-04-03 cs.CL
Words are Malleable: Computing Semantic Shifts in Political and Media Discourse
University of Amsterdam(阿姆斯特丹大学)
近年来,研究者开始关注词义时间变化的检测。然而,大多数(如果不是全部)这些方法限制了他们的努力,揭示随着时间的推移变化,从而忽视了其他有价值的方面,如社会或政治的变化。我们提出了一种方法来检测不同观点之间的语义转变-广义上定义为一组文本,共享一个特定的元数据功能,这可以是一个时间段,但也是一个社会实体,如政党。对于每个视点,我们学习一个语义空间,其中每个词都表示为一个低维神经嵌入向量。挑战在于将一个词在一个空间中的含义与其在另一个空间中的含义进行比较,并测量语义变化的大小。我们比较了两个空间之间的最佳变换的基础上的措施的有效性与一个措施的基础上,在各自的空间中的单词的邻居的相似性。我们的实验表明,这两者的组合表现最好。我们发现,语义的变化不仅发生随着时间的推移,但也沿着不同的观点在短时间内。对于评估,我们展示了这种方法如何捕捉有意义的语义转变,并可以帮助改善其他任务,如对比观点总结和意识形态检测(分类精度)在政治文本。我们还表明,这两个法律的语义变化的经验表明,持有时间的转变也持有跨观点的转变。这些定律表明,频繁出现的单词不太可能改变含义,而具有许多含义的单词更有可能这样做。
2017-11-15 cs.CL
Informational Space of Meaning for Scientific Texts
University of Leicester(莱斯特大学)
在自然语言处理中,文本意义的自动提取是一个重要的问题。我们的重点是短的科学文本(摘要或简要报告)的意义的计算分析。本文提出了一种向量空间模型来量化词语和文本的意义。我们引入了意义空间,在这个意义空间中,一个词的意义由一个关于文本所属主题类别的相对信息增益(RIG)向量来表示,这些信息增益可以通过观察文本中的词来获得。基于莱斯特科学语料库(LSC)和莱斯特科学词典核心(LScDC),将该方法应用于语义空间的构建。LSC是一个包含1,673,350个摘要的科学语料库,LScDC是一个科学词典,其中的单词是从LSC中提取的。LSC中的每个文本至少属于Web of Science(WoS)的252个主题类别中的一个。这些类别用于构建信息增益的向量。的意义空间的描述和统计分析的LSC与LScDC。建议的表示模型的有用性进行评估,通过在每个类别中排名靠前的话。信息量最大的n个单词被排序。我们证明了基于RIG的单词排名比基于原始词频的排名在确定单词的科学特定含义和重要性方面更有用。该模型的基础上RIG被证明有能力脱颖而出的主题特定的词在类别中。最具信息性的词是252类。新的科学词典和103,998 x 252词类别RIG矩阵可在线获得。意义空间的分析为我们提供了一个工具,进一步探索量化的文本意义使用更复杂的和上下文相关的意义模型,使用词及其组合的共现。
2020-04-28 cs.CL cs.DL
RAW-C: Relatedness of Ambiguous Words--in Context (A New Lexical Resource for English)
University of California, San Diego(加州大学圣地亚哥分校)
大多数单词都是模棱两可的,它们在不同的上下文中传达不同的含义-甚至毫不含糊的词语的含义也取决于上下文。这两种现象都对NLP提出了挑战。近年来,语境化词嵌入的出现使得词义消歧等涉及词汇歧义的任务获得了成功。然而,很少有任务直接评估这些语境化嵌入如何适应词义的更连续,动态的性质-特别是以符合人类直觉的方式。我们介绍了RAW-C,一个数据集的分级,人类相关性判断的112个模糊的词在上下文(672句对),以及人类的估计意义的优势。平均注释者间一致性(使用留一注释者法评估)为0.79。然后,我们表明,余弦距离的测量,计算使用上下文嵌入从BERT和ELMo,与人类的判断,但余弦距离也系统地低估了相似的人类如何找到使用相同的意义的一个词,并系统地高估了相似的人类如何找到使用不同的意义同音异义词。最后,我们提出了一个综合的心理词汇和词汇语义的计算模型的心理语言学理论。
2021-05-27 cs.CL
Unsupervised Lemmatization as Embeddings-Based Word Clustering
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们专注于无监督的词元化的任务,即在一个标签(词元)下将一个词的变形形式分组在一起,而不使用带注释的训练数据。我们提出了一种新的距离度量进行凝聚聚类的单词形式。我们的距离测量是基于观察,即同一个词的词形变化往往是相似的字符串和意义。因此,我们结合词嵌入余弦相似性,作为一个代理的意义相似性,与Jaro-Winkler编辑距离。我们对23种语言的实验表明,我们的方法是有前途的,超过了28个评估数据集中的23个基线。
2019-08-22 cs.CL
Multilingual LLMs Struggle to Link Orthography and Semantics in Bilingual Word Processing
Department of Electrical Engineering, Indian Institute of Technology Delhi(印度理工学院德里电气工程系);Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(印度理工学院德里人工智能学院)
研究探讨多语言大语言模型在处理双语词时,如何通过拼写和语义特征进行区分,发现模型在处理双语同形词时存在显著困难,倾向于依赖拼写相似性而非语义理解。
2026-03-18 cs.CL
How to marry a star: probabilistic constraints for meaning in context
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Trento(特伦托大学)
在本文中,我们推导出一个概念的“语境中的词义”,其特点是内涵和概念的意义。我们介绍了一个框架,指定本地以及全球的限制,在上下文中的词义,连同它们的相互作用,从而模拟广泛的词汇变化和歧义观察到的话语解释。我们把句子的意义表示为一个“情景描述系统”,一个概率模型,它把话语理解看作是一个向自己描述一个或多个情景的心理过程,这些情景将解释所观察到的话语。我们展示了如何在实践中实现该系统,并将其应用到包含各种情境化现象的例子。
2022-09-12 cs.CL
Schrödinger's Bat: Diffusion Models Sometimes Generate Polysemous Words in Superposition
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
最近的工作已经表明,尽管它们具有令人印象深刻的能力,但是文本到图像扩散模型,例如DALL-E 2(Ramesh等人,2022)可以在提示包含具有多种可能含义的单词时显示奇怪的行为,通常生成包含单词的两种含义的图像(Rassin等人,2022年)。在这项工作中,我们试图提出一个可能的解释这一现象。使用类似的稳定扩散模型(Rombach等人,2022),我们首先表明,当给定一个输入是两个不同的词的编码之和时,模型可以产生一个包含两个概念的图像。然后,我们证明了用于对提示进行编码的CLIP编码器(Radford等人,2021)将多义词编码为意义的叠加,并且使用线性代数技术,我们可以编辑这些表示以影响生成的图像中表示的感官。结合这两个发现,我们认为Rassin等人(2022)描述的同音异义词重复现象是由扩散模型产生的图像引起的,这些图像代表了多义词编码中叠加的两种含义。
2022-11-23 cs.CL
Measuring Meaning on the World-Wide Web
Center Leo Apostel for Interdisciplinary Studies(莱奥·阿波斯泰尔跨学科研究中心);Vrije Universiteit Brussel(布鲁塞尔自由大学)
我们引入的概念的“意义绑定”的一个词相对于另一个词,利用万维网作为一个概念环境的意义。一个词相对于另一个词的含义是通过将包含这两个词的网页的数量的乘积乘以万维网的网页总数,并将结果除以每个单个词的网页数量的乘积来建立的。我们计算几个词的含义范围,并通过具体的例子分析这些不同的方面。
2010-06-09 cs.AI cs.CL
Zipf's laws of meaning in Catalan
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
在他的开创性研究中,G. K.齐普夫提出了两个关于词的频率与其含义数量之间关系的统计定律:含义分布定律,将词的频率与其频率等级联系起来,以及含义频率定律,将词的频率与其含义数量联系起来。虽然这些法律是在半个多世纪前制定的,但它们只被用几种语言研究过。在这里,我们提出了这些法律在加泰罗尼亚语的第一次研究。我们验证这些法律在加泰罗尼亚语通过它们的指数之间的关系和秩频率法。我们提出了一个新的协议,这些Zipfian法律,可以扩展到其他语言的分析。我们报告的第一个证据表明,这些法律在书面语言和语音的两个显着的制度,平行的两个政权在齐普夫的排名频率法在大型多作者语料库中发现在21世纪初。最后,将讨论这两种制度的影响。
2021-06-30 cs.CL
Word learning and the acquisition of syntactic--semantic overhypotheses
Massachusetts Institute of Technology(麻省理工学院)
儿童在学习第一语言时面临着多种归纳问题:如何学习单词的含义,以及如何根据句法规则从这些单词中构建有意义的短语。我们考虑如何儿童可能会解决这些问题,有效地解决他们共同的,通过计算模型,学习语法和语义的多字的话语在一个接地的参考游戏。我们选择了一个经过充分研究的实证案例,在该案例中,儿童意识到将单词的句法和语义属性联系起来的模式--基本名词选择的属性往往与形状相关,而前置形容词往往指的是其他属性,例如颜色。我们发现,儿童应用这种归纳偏见准确地反映了儿童导向的语音统计,并在我们的计算模型中诱导类似的偏见捕捉儿童的行为在一个经典的形容词学习实验。我们的模型结合了这种偏见,也证明了一个明确的数据效率在学习中,相对于一个基线模型,学习没有形成语法敏感的过度假设的词义。因此,解决一个更复杂的联合推理问题可能会使语言习得的整个问题变得更容易,而不是更难。
2018-05-14 cs.CL