Advances in the Logical Representation of Lexical Semantics
Université de Bordeaux（波尔多大学）；IRIT-C.N.R.S.（图卢兹信息学研究所-法国国家科学研究中心）
词汇语义学和语用学在自然语言意义分析中的结合促使蒙塔古的整体框架发生了变化。在这些作品中，原始的词典，其中的单词被分配了一个原子类型的单排序逻辑，已被一组多方面的词汇项目，可以组成他们的意义与突出的上下文属性使用丰富的类型系统作为指导。与我们的建议，这样一个扩展的框架\LambdaTYn，我们提出了一些最新的进展，在相关的逻辑形式主义，包括约束的词汇转换和多态量词，正在进行的讨论和研究的粒度类型系统和限制的传递性。
2013-09-04 cs.CL
How Can BERT Help Lexical Semantics Tasks?
Westlake University（西湖大学）
诸如BERT之类的上下文化嵌入可以作为NLP任务的强输入表示，优于诸如skip-gram、CBOW和GloVe之类的静态嵌入。然而，这样的嵌入是动态的，根据一个词汇级上下文计算，这限制了它们在词汇语义任务中的使用。我们通过使用动态嵌入作为训练静态嵌入的单词表示来解决这个问题，从而利用它们强大的表示能力来消除上下文信息的歧义。结果表明，该方法导致改进传统的静态嵌入的词汇语义任务的范围内，获得最好的报告结果在七个数据集。
2020-04-05 cs.CL
Guilt by Association: Emotion Intensities in Lexical Representations
Rutgers University（罗格斯大学）；Hasso Plattner Institute/University of Potsdam（哈索·普拉特纳研究所/波茨坦大学）
词向量表征揭示了与词相关的情感的什么？在这项研究中，我们考虑的任务是估计特定情绪的词级情感强度分数，探索无监督，监督，最后是一个自我监督的方法，从词向量表示提取情感关联。总的来说，我们发现，词向量进行诱导细粒度的情感强度分数的巨大潜力，表现出更高的相关性与人类的地面真相评级比达到最先进的情感词汇。
2021-04-18 cs.CL
Everyone Was Right: Lexical Representations in Language Models Are Both Abstract and Holistic
University of Oregon（俄勒冈大学）；Vail Systems, Inc.（韦尔系统公司）
该研究通过分解上下文词表征的成分，证实预训练Transformer的词汇表征兼具抽象性与项-类组合的结构信息，且交互作用随层数增强。
2026-10-14 cs.CL
On the Persistent Effects of Lexicality in Large Language Models
Dalhousie University（达尔豪斯大学）；University of Kentucky（肯塔基大学）；Carnegie Mellon University（卡内基梅隆大学）
本文通过对抗性语义压力测试和信息论视角，量化了大语言模型中词汇重叠相对于语义内容的影响，发现词汇影响贯穿模型深度，并在中间层出现词汇和语义信号同时衰减的过渡区域，进而以摘要和模型编辑为例展示了词汇影响对下游任务的作用。
2026-06-03 cs.CL
Probabilistic Lexical Manifold Construction in Large Language Models via Hierarchical Vector Field Interpolation
本文提出基于层级向量场插值的概率词汇流形构建方法，通过概率约束和散度最小化实现平滑词嵌入，减少各向异性畸变，提升语义稳定性与表示一致性。
2025-03-26 cs.CL
Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation
提出一种将分层嵌入投影到结构化流形的新机制，在保持计算效率的同时增强多尺度语义表示，提升语言基准准确性和鲁棒性。
2025-03-25 cs.CL
Word2Vec vs DBnary: Augmenting METEOR using Vector Representations or Lexical Resources?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；SYSTRAN（SYSTRAN公司）；LNE（法国国家实验室）
本文提出了一种将词汇语义资源和词的分布式表示相结合的方法，应用于机器翻译（MT）的评价。这项研究是通过丰富的一个著名的MT评价指标：METEOR。此度量标准可实现自动翻译和参考翻译之间的近似匹配（同义或形态相似性）。我们的实验是在WMT 2014的可持续发展任务的框架下进行的。我们发现，分布式表示是一个很好的替代词汇语义资源的MT评估，他们甚至可以带来有趣的额外信息。使用矢量表示的METEOR增强版本可以在我们的Github页面上找到。
2016-10-05 cs.CL
The Role of Prosodic and Lexical Cues in Turn-Taking with Self-Supervised Speech Representations
School of Engineering, Trinity College Dublin, Ireland（都柏林信任学院工程学院）
本文研究了基于自监督语音表示的轮替机制，发现语调和词汇线索均支持轮替，且可单独使用，为未来模型设计提供了新方向。
2026-01-20 cs.CL
Optimality Theory as a Framework for Lexical Acquisition
Laboratoire LATTICE（LATTICE实验室）；Paris Sciences et Lettres（巴黎文理研究大学）
本文重新研究了一个最初为法语开发的词汇习得系统，有趣的是，该系统的架构再现并实现了优选论的主要组成部分。然而，我们制定的假设，它的一些局限性主要是由于一个穷人的代表性所使用的约束。最后，我们展示了如何更好地表示所使用的约束将产生更好的结果。
2014-05-26 cs.CL
Latent Lexical Projection in Large Language Models: A Novel Approach to Implicit Representation Refinement
本文提出潜在词汇投影（LLP）方法，通过潜在空间变换精化词汇表示，在保持句法完整性的同时提升词元选择准确性，实验表明其降低了困惑度、提高了BLEU分数并增强了长距离依赖保留。
2025-03-25 cs.CL
Distributed Representations of Lexical Sets and Prototypes in Causal Alternation Verbs
Universitá di Cambridge（剑桥大学）；Università degli Studi di Pavia（帕维亚大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
词汇集包含了动词的论元位置，并且部分地由选择偏好决定。本文的目的是通过分布语义学来揭示词汇集合的性质。我们考察了：（1）词集是否表现为具有中心和外围的原型范畴;（2）词集是否具有多态性，即由子范畴组成;（3）不同论元的词集之间的距离是否能够解释动词属性。特别是，我们的案例研究是在意大利语的使役始动动词的词汇集。通过对几种向量模型的研究，我们发现：（1）基于距离质心的空间距离，宾语填充词均匀地分布在范畴中，而不及物主语填充词则位于其边缘;（2）动词义项的数量与自动发现的类的数量之间存在相关性，尤其是对于不及物主语;（3）宾语和不及物主语的质心距离与动词的其他性质有关，如动词的跨语言倾向是以不及物形式出现而不是以及物形式出现。这篇论文是不明确的假设，这种联系是由语义原因，即由动词表示的事件的自发性。
2020-10-26 cs.CL
Putting words in context: LSTM language models and lexical ambiguity
Universitat Pompeu Fabra（庞培法布拉大学）
在语言的神经网络模型中，单词通常使用上下文不变表示（词嵌入）来表示，然后将其置于隐藏层的上下文中。由于单词通常是模糊的，因此表示上下文相关的信息并不是微不足道的。我们研究了LSTM语言模型如何处理英语中的词汇歧义，设计了一种方法来探测其隐藏的词汇和上下文信息的表示。我们发现，这两种类型的信息表示在很大程度上，但也有改进的空间，上下文信息。
2019-06-12 cs.CL
Scene Abstraction for Lexical Semantics: Structured Representations of Situated Meaning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
提出场景抽象框架，通过少样本提示大语言模型构建词汇使用情境的结构化表示，实验证明场景可可靠识别且优于基线方法。
2026-05-22 cs.CL
Embedding Semantic Relations into Word Representations
University of Liverpool（利物浦大学）；Shizuoka University（静冈大学）；National Institute of Informatics（国立信息学研究所）
学习语义关系的表示对于各种任务（例如类比检测、关系搜索和关系分类）都很重要。虽然已经有几个建议，学习表示为个别的话，学习词表示，明确捕捉词之间的语义关系仍然没有得到发展。我们提出了一种无监督的方法来学习向量表示的话，这样学习的表示是敏感的语义关系，存在于两个词之间。首先，我们从语料库中两个词的共现语境中提取词汇模式来表示这两个词之间存在的语义关系。其次，我们将词汇模式表示为与该词汇模式共现的词的表示的加权和。第三，我们训练一个二元分类器来检测关系相似与不相似的词汇模式对。所提出的方法是无监督的意义上说，词汇模式对，我们使用的训练数据是自动采样的语料库，而不需要任何人工干预。我们提出的方法在统计上显著优于目前最先进的词表示在三个基准数据集上进行比例类比检测，证明了它能够准确地捕捉词之间的语义关系。
2015-05-01 cs.CL
A Framework for Enriching Lexical Semantic Resources with Distributional Semantics
Universität Hamburg（汉堡大学）；Universität Mannheim（曼海姆大学）
我们提出了一种方法，结合分布式语义表示的文本语料库与人工构建的词汇语义网络。虽然这两种语义资源都具有较高的词汇覆盖率，但我们的对齐资源将分布模型的上下文信息的域特异性和可用性与手工制作的词汇网络的简洁性和高质量相结合。我们从词汇术语的归纳意义的分布表征开始，伴随着相关词汇所提供的丰富语境信息。然后，我们自动消除歧义，这样的表示，以获得一个成熟的原型概念化，即诱导词义的类型图。在最后一步中，将该原型概念化与词汇本体对齐，从而产生混合对齐资源。此外，未映射的诱导意义与语义类型相关联，以便将它们连接到核心资源。对我们的方法的不同阶段的地面实况判断，以及基于知识的词义消歧基准的外部评估手动评估都表明新的混合资源的高质量。此外，我们还展示了从文本中自下而上的分布信息丰富自上而下的词汇知识资源，以解决高端知识获取任务，如清理上位词图和从头开始学习分类法的好处。
2017-12-23 cs.CL
Comparison by Conversion: Reverse-Engineering UCCA from Syntax and Lexical Semantics
University of Copenhagen（哥本哈根大学）；Georgetown University（乔治敦大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
构建强大的自然语言理解系统需要明确描述各种语言意义表示是否以及如何相互补充。为了进行系统的比较分析，我们使用两种互补的方法来评估来自不同框架的含义表示之间的映射：（i）基于规则的转换器，以及（ii）监督的去词汇化解析器，其仅使用来自其他框架的信息作为特征来解析到一个框架。我们应用这些方法转换的STREUSLE语料库（与句法和词汇语义注释）UCCA（一个图形结构的完整的句子意义表示）。这两种方法都产生了令人惊讶的准确目标表示，接近完全监督UCCA解析器的质量-表明UCCA注释与STREUSLE注释部分冗余。尽管框架之间有很大的趋同，但我们发现了几个重要的分歧领域。
2020-11-02 cs.CL
The Best of Both Worlds: Lexical Resources To Improve Low-Resource Part-of-Speech Tagging
IT University of Copenhagen（哥本哈根信息技术大学）
在自然语言处理中，深度学习革命已经将焦点从传统的手工符号表示转移到密集输入，这是从语料库自动学习的适当表示。然而，特别是在使用低资源语言时，即使黄金标准语料库不存在，也通常可以使用少量的符号词汇资源，例如用户生成的词典。这种额外的语言信息，但往往被忽视，最近的神经方法跨语言标记通常只依赖于词和子词嵌入。虽然这些表示是有效的，但我们最近的工作表明，结合两个世界的优点有明显的好处：整合传统的词汇信息可以改善神经跨语言词性（PoS）标记。然而，人们对这些补充资料的互补性以及改进在多大程度上取决于这些外部资源的覆盖面和质量知之甚少。本文试图填补这一空白，提供了第一个全面的分析，在神经时代的词汇资源的跨语言PoS标注的贡献。
2018-11-21 cs.CL
Representation Of Lexical Stylistic Features In Language Models' Embedding Space
University of Pennsylvania（宾夕法尼亚大学）
本文提出利用少量种子对在语言模型嵌入空间中构建词汇风格（复杂性、正式性、比喻性）的向量表示，并发现静态嵌入在词级更优、上下文模型在句级更优，且各向异性可经标准化部分修正。
2023-05-31 cs.CL
When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors
Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）；Tel Aviv University（特拉维夫大学）
该研究提出EICS指标与CASP-VL基准，发现VLMs的空间关系表征忠实度远低于词汇信息，且该关系在全局表征中消失，揭示了其存在的系统性缺陷。
2026-10-12 cs.CL
Knowledge Representation for Lexical Semantics: Is Standard First Order Logic Enough?
交互式规划和面对面翻译等自然语言理解应用需要广泛的推理。这些推论中的许多都是基于特定的开放类词的含义。提供一个表示，可以支持这种基于词汇的推理是词汇语义的主要关注。一阶逻辑的表示语言具有很好的语义理解能力，并且已经实现了大量的推理系统，因此它是作为词汇语义表示的最佳候选语言。然而，我们认为，FOL，虽然是一个很好的起点，需要扩展之前，它可以有效地和简洁地支持所有基于词汇的推理所需的。
1994-12-10 cmp-lg cs.CL
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich（慕尼黑大学）
无监督神经机器翻译（UNMT）的成功方法是通过自我监督进行跨语言预训练，通常以掩蔽语言建模或序列生成任务的形式进行，这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言，但它在低资源和遥远的语言中表现不佳。以前的研究表明，这是因为表征没有充分对齐。在本文中，我们加强双语掩蔽语言模型预训练与词汇级信息，通过使用类型级跨语言子词嵌入。实证结果表明，使用我们的方法与UNMT基线相比，UNMT（高达4.5 BLEU）和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
Deep encoding of etymological information in TEI
OEAW（奥地利科学院）；Inria（法国国家信息与自动化研究所）；BBAW（柏林-勃兰登堡科学院）；CMB（柏林马克·布洛赫中心）
本文旨在提供一个全面的建模和数字词典中的词源数据表示。其目的是在一个连贯的框架中集成传统词典的数字表示，以及手动或半自动构建的数字词汇数据库。我们希望为各种词源现象提出一套系统和连贯的建模原则，这些原则可能有助于在现有和未来的词汇结构之间建立一个连续体，任何对追踪单词及其含义的历史感兴趣的人都能够无缝地查询词汇资源。我们将集中于识别TEI指南为词汇信息的表示提供的所有可能性。
2016-11-30 cs.CL
Self-Supervised Lexical Representation Learning for Fast, Large-Scale Phylogenetic Inference
本文提出一种自监督对比学习框架，从原始IPA词表学习词汇表示，无需同源性注释，可高效推断3399种语言的系统发育树，性能与基线相当，还能捕获概念稳定性，为大规模系统发育推理提供自动高效方案。
2026-09-07 cs.CL
A framework for lexical representation
在本文中，我们提出了一个基于统一的词汇平台，专为高度曲折的语言（如罗马的）。一种形式主义提出了一个基于引理的词汇源编码，非常适合语言概括。从这个源，我们自动生成一个异形索引字典，足以有效地处理。一组软件工具已经实现了这种形式主义：访问库，形态处理器等。
1995-07-06 cmp-lg cs.CL
Lexical representation explains cortical entrainment during speech comprehension
Radboud University（拉德堡德大学）；NYU Shanghai（上海纽约大学）
最近的一项关于口语句子理解的神经影像学研究的结果被解释为皮层夹带到层次句法结构的证据。我们提出了一个简单的计算模型，预测功率谱从这项研究中，即使该模型的语言知识仅限于词汇水平，和词级表示不结合到更高级别的单位（短语或句子）。因此，皮层夹带的结果也可以解释从词汇性质的刺激，而不求助于层次句法。
2018-01-10 cs.CL q-bio.NC
Lexical Knowledge Representation in an Intelligent Dictionary Help System
介绍了智能词典帮助系统IDHS中采用的基于框架的知识表示模型。它用于表示从传统词典中自动获取的词汇知识。此外，丰富的过程中，已经执行的字典知识库和动态开发这种知识-都基于开发的词汇语义关系的属性-也进行了描述。
1995-01-30 cmp-lg cs.CL
Learning semantic sentence representations from visually grounded language without lexical knowledge
Centre for Language Studies（语言研究中心）；Radboud University（拉德堡德大学）
当前学习句子语义表示的方法通常使用先前的词级知识。目前的研究旨在利用视觉信息，以捕捉句子层次的语义，而不需要词嵌入。我们使用一个多模态句子编码器训练的语料库的图像与匹配的文本标题，以产生视觉接地句子嵌入。训练深度神经网络以将两种模态映射到公共嵌入空间，使得对于图像，可以检索对应的字幕，反之亦然。我们证明了我们的模型在两个流行的图像标题检索基准数据集：MSCOCO和Flickr8k上取得了与当前最先进的结果相当的结果。我们使用语义文本相似性基准任务的数据评估所得到的句子嵌入的语义内容，并表明多模态嵌入与人类语义相似性判断相关。该系统在这些基准测试中的几个上实现了最先进的结果，这表明仅在多模态数据上训练的系统，而不假设任何单词表示，能够捕获句子级别的语义。重要的是，这一结果表明，我们不需要先验知识的词汇级语义模型的句子级语义。这些发现表明视觉信息在语义学中的重要性。
2019-03-27 cs.CL
Improving Lexical Embeddings for Robust Question Answering
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；The Chinese University of Hong Kong（香港中文大学）
近年来，问答技术在性能上取得了显著的进步，一些问答模型的性能甚至超过了人工。然而，这些模型在真正理解语言方面的能力仍然值得怀疑，并且这些模型在面对对抗性示例时显示出局限性。为了增强QA模型的鲁棒性和泛化能力，提出了一种基于语义和上下文约束的表示增强（ESC）方法来提高词汇嵌入的鲁棒性。具体来说，我们插入扰动与语义约束和训练增强上下文表示通过上下文约束损失，以更好地区分上下文线索的正确答案。实验结果表明，该方法在四个对抗测试集上获得了显著的鲁棒性提高。
2022-02-28 cs.CL
Shades of confusion: Lexical uncertainty modulates ad hoc coordination in an interactive communication task
Princeton University（普林斯顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
沟通伙伴对互动的期望有很大的差异，这就造成了误解的可能。为了直接探索这些差距和我们克服它们的能力，我们提出了一个基于颜色概念协会的沟通任务。在实验1中，我们建立了这些期望的心理表征的几个关键属性，或词汇先验，基于最近的概率理论。对于抽象概念，关联性更具可变性，可变性表示为每个个体内部的不确定性，而不确定性可以准确预测其他人是否可能共享相同的关联。在实验2中，我们研究了这些表征对沟通的下游影响。当交流具有更多变量关联的概念时，准确性最初较低，但随着参与者形成临时约定，准确性迅速提高。总之，我们的研究结果表明，人们通过保持对伴侣的良好校准的不确定性和适当适应自己的表征来应对变化。
2022-04-26 cs.CL
LANE: Lexical Adversarial Negative Examples for Word Sense Disambiguation
FSTM - University of Luxembourg（卢森堡大学FSTM分校）；Luxembourg Institute of Science and Technology（卢森堡科学与技术研究所）；Brown University（布朗大学）
针对神经语言模型易过拟合全局句子表征、难以捕捉局部语义细节的问题，提出对抗训练策略LANE，通过生成选择性标记替换词的负样本提升词义区分能力，在相关基准上性能优于对比学习基线，且模型无关可集成。
2025-11-14 cs.CL
OCHADAI-KYOTO at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction
Ochanomizu University（御茶水女子大学）；Kyoto University（京都大学）
我们提出了一个集成模型来预测词汇和多词表达式（MWE）的词汇复杂度。该模型接收带有目标词或MWE的句子作为输入，并输出其复杂性得分。考虑到这项任务的一个关键挑战是注释数据的大小有限，我们的模型依赖于来自不同的最先进的基于转换器的语言模型（即，BERT和RoBERTa），以及用于进一步增强模型泛化和鲁棒性的各种训练方法：多步微调和多任务学习，以及对抗训练。此外，我们建议通过在训练过程中添加手工制作的功能来丰富上下文表示。我们的模型取得了有竞争力的结果，并在这两个子任务的前10名系统中排名。
2021-06-15 cs.CL
Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis
UC San Diego（加州大学圣迭戈分校）
本文构建西班牙语歧义名词最小对句及人类相关性判断数据集，系统评估单语与多语BERT模型的语境化语义表征，揭示其与模型规模、架构层级及训练规格的关系。
2025-03-12 cs.CL
Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation
本文提出一种基于流形的动态嵌入重构方法，通过连续几何变换调节词汇位置，降低困惑度、增强连贯性，并保持推理效率，实现上下文自适应语言建模。
2025-03-26 cs.CL
Tiered Clustering to Improve Lexical Entailment
University of Illinois-Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
自然语言处理中的许多任务都涉及识别词汇蕴涵。最近提出了两种不同的方法来解决这个问题，这两种方法彼此非常不同。第一个是一个非对称的相似性度量，旨在给高分时，较窄的条款的上下文的蕴涵是一个子集的较广泛的条款。第二种是监督的方法，其中学习分类器以预测给定单词的级联潜在向量表示的蕴涵。这两种方法都是向量空间模型，使用单个上下文向量作为单词的表示。在这项工作中，我研究的影响，聚类词的意义，并使用这些多个上下文向量来推断蕴涵使用这两种算法的扩展。我发现，这种方法提供了一些改进，这些蕴涵算法。
2014-12-02 cs.CL
Widening the Representation Bottleneck in Neural Machine Translation with Lexical Shortcuts
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
Transformer是一种最先进的神经翻译模型，它使用注意力来迭代地改进词汇表示，并从周围的上下文中提取信息。词汇特征被输入到第一层，并通过隐藏层的深层网络传播。我们认为，需要表示和传播词汇功能，在每一层限制了模型的学习能力和代表其他相关的信息的任务。为了缓解这个瓶颈，我们在嵌入层和编码器和解码器中的每个后续层之间引入门控快捷连接。这使得模型能够动态地访问相关的词汇内容，而无需将有限的资源用于将其存储在中间状态中。我们表明，所提出的修改产生一致的改进超过基线Transformer标准WMT翻译任务在5个翻译方向（平均0.9 BLEU），并减少了隐藏层传递的词汇信息量。此外，我们评估不同的方式来整合词汇连接到Transformer架构，并提出消融实验，探索建议的快捷方式对模型行为的影响。
2019-06-28 cs.CL cs.LG
Integrating Distributional Lexical Contrast into Word Embeddings for Antonym-Synonym Distinction
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一种新的矢量表示，将词汇对比度的分布向量，并加强了最显着的功能，以确定程度的单词相似性。改进后的向量显著优于标准模型，并区分反义词和同义词，在词类（形容词，名词，动词）中的平均精度为0.66-0.76。此外，我们将词汇对比度向量整合到跳跃语法模型的目标函数中。新的嵌入在SimLex-999中预测单词相似性以及区分反义词和同义词方面优于最先进的模型。
2016-05-25 cs.CL
Enhanced word embeddings using multi-semantic representation through lexical chains
University of Michigan - Dearborn（密歇根大学迪尔伯恩分校）；University of Wuppertal（伍珀塔尔大学）；Federal University of ABC（ABC联邦大学）
句子中单词之间的关系通常比单个单词更能告诉我们文档的潜在语义内容。在这项工作中，我们提出了两个新的算法，称为灵活的词汇链II和固定的词汇链II。这些算法结合了来自词汇链的语义关系、来自词汇数据库的先验知识以及词嵌入中的分布假设的鲁棒性，作为形成单个系统的构建块。简而言之，我们的方法有三个主要贡献：（i）一组技术，完全集成词嵌入和词汇链;（ii）一个更强大的语义表示，考虑到文档中的单词之间的潜在关系;和（iii）轻量级的词嵌入模型，可以扩展到任何自然语言任务。我们打算评估预训练模型的知识，以评估它们在文档分类任务中的鲁棒性。所提出的技术进行了测试，对七个词嵌入算法，使用五个不同的机器学习分类器在六个场景中的文档分类任务。我们的研究结果表明，词汇链和词嵌入表征之间的整合维持了最先进的结果，即使对更复杂的系统。
2022-12-19 cs.CL cs.LG
Analysing Lexical Semantic Change with Contextualised Word Representations
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出了第一个无监督的方法，利用上下文的词表示的词汇语义变化。我们提出了一种新的方法，利用BERT神经语言模型来获得表示的词的使用，聚类这些表示到使用类型，并测量随着时间的变化与三个建议的指标。我们创建了一个新的评估数据集，并表明模型表示和检测到的语义变化与人类的判断呈正相关。我们大量的定性分析表明，我们的方法捕捉到了各种共时和历时的语言现象。我们希望我们的工作能够激发这方面的进一步研究。
2020-04-29 cs.CL cs.CY
Integrating Multiplicative Features into Supervised Distributional Methods for Lexical Entailment
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bar-Ilan University（巴伊兰大学）
监督分布方法在词汇蕴涵中得到了成功的应用，但最近的工作质疑这些方法是否真的学习了两个词之间的关系。具体来说，Levy等人（2015）声称线性分类器只学习每个单词的单独属性。我们提出了一种廉价而简单的方法来提高这些方法的性能，将乘法功能集成到常用的表示。我们提供了一个广泛的评估与不同的分类器和评估设置，并建议一个合适的评估设置的任务，消除偏见存在于以前的。
2018-04-24 cs.CL
Verb Semantics and Lexical Selection
本文将重点讨论动词在计算机系统中的语义表示及其对机器翻译（MT）中词汇选择问题的影响。本文通过对英汉两组动词的分析，说明词汇选择必须基于对句子的理解以及对动词论元的选择限制。提出了一种新的表示方案，并与基于传输的MT中使用的选择限制表示进行了比较。我们认为我们的方法与基于知识的机器翻译方法（KBMT）密切相关，并且可以作为一个单独的组件纳入现有系统。实例和实验结果表明，使用该方案，不精确匹配可以实现正确的词汇选择。
1994-06-24 cmp-lg cs.CL
Continuous Representation of Location for Geolocation and Lexical Dialectology using Mixture Density Networks
我们提出了一种方法，用于在连续的向量空间中嵌入二维位置，使用基于神经网络的模型，将混合高斯分布，提出了两个基于文本的地理定位和词汇方言的模型变体。通过Twitter数据进行评估，该模型优于传统的基于回归的地理定位，并提供了更好的不确定性估计。我们还展示了在词汇方言学中从位置预测单词的表示的有效性，并使用DARE数据集对其进行评估。
2017-08-14 cs.CL cs.IR cs.SI
COIL: Revisit Exact Lexical Match in Information Retrieval with Contextualized Inverted List
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
经典的信息检索系统如BM 25依赖于精确的词汇匹配，并使用倒排表索引来高效地执行搜索。最近的神经IR模型转向软语义匹配所有的查询文档术语，但他们失去了精确匹配系统的计算效率。本文介绍了COIL，一个上下文精确匹配检索架构，带来语义词汇匹配。COIL评分是基于重叠的查询文档令牌的上下文表示。新架构将上下文化的标记表示存储在倒排列表中，将精确匹配的效率和深层语言模型的表示能力结合在一起。我们的实验结果表明，COIL优于经典的词汇检索和国家的最先进的深度LM检索相似或更小的延迟。
2021-04-15 cs.CL cs.IR
Generalization through Lexical Abstraction in Transformer Models: The Case of Functional Words
Idiap Research Institute（Idiap 研究所）；University of Geneva（日内瓦大学）
本研究探究预训练Transformer模型如何编码功能词及其在平行句中的泛化能力，发现混合训练可揭示共享句法语义结构。
2026-09-18 cs.CL
Universal Neural Machine Translation for Extremely Low Resource Languages
The University of Hong Kong（香港大学）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在本文中，我们提出了一种新的通用机器翻译方法，专注于语言的并行数据量有限。我们提出的方法利用迁移学习的方法来共享词汇和句子级别的表示在多个源语言到一个目标语言。词汇部分通过通用词汇表示共享，以支持多语言单词级共享。由来自与所有其它语言共享源编码器的所有源语言的专家的模型来表示中间级共享。这使得低资源语言能够利用高资源语言的词汇和句子表示。我们的方法能够使用6k句子的小型并行语料库在罗马尼亚语-英语WMT 2016上实现23个BLEU，而使用多语言训练和反向翻译的强基线系统的BLEU为18个。此外，我们表明，所提出的方法可以通过在zero-shot设置中微调预训练的多语言系统，在同一数据集上实现近20个BLEU。
2018-04-17 cs.CL
External Lexical Information for Multilingual Part-of-Speech Tagging
INRIA（法国国家信息与自动化研究所）
形态句法词典和词向量表示都被证明是有用的，以提高统计词性标注的准确性。在这里，我们比较了四个系统在涵盖16种语言的数据集上的性能，其中两个系统是基于特征的（MEMM和CRF），其中两个是基于神经的（bi-LSTM）。我们表明，平均而言，所有四种方法的性能相似，并达到最先进的结果。然而，我们的基于特征的模型在词汇丰富的数据集上获得了更好的性能（例如，对于形态丰富的语言），而基于神经的结果在词汇变化较小的数据集上更高（例如，英语）。这些结论特别适用于依赖于我们的系统MElt的MEMM模型，该系统受益于新设计的功能。这表明，在一定条件下，基于特征的方法丰富的形态句法词典是有竞争力的神经方法。
2016-08-09 cs.CL
Explaining and Improving BERT Performance on Lexical Semantic Change Detection
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
基于类型和基于标记的嵌入架构仍然在词汇语义变化检测方面竞争。最近基于类型的模型在SemEval-2020任务1中的成功提出了一个问题，为什么基于标记的模型在各种其他NLP任务上的成功并没有转化为我们的领域。我们调查了一系列变量对BERT向量聚类的影响，并表明其低性能在很大程度上是由于目标词的正字法信息，即使在更高的层编码的BERT表示。通过减少拼写法的影响，我们大大提高了BERT的性能。
2021-03-12 cs.CL
Shades of meaning: Uncovering the geometry of ambiguous word representations through contextualised language models
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本研究利用上下文语言模型进行模拟，发现其词表征能区分无歧义词、同形异义词和多义词，且与词典分类及心理学理论一致，为词汇歧义的心理学解释提供定量支持。
2023-04-26 cs.CL
Robust Lexical Features for Improved Neural Network Named-Entity Recognition
Université de Montréal（蒙特利尔大学）
命名实体识别的神经网络方法减少了对精心手工制作的特征的需要。虽然一些特征确实保留在最新技术水平的系统中，但词汇特征大多已被丢弃，只有地名录例外。在这项工作中，我们表明这是不公平的：词汇特征实际上是非常有用的。我们建议将单词和实体类型嵌入到一个低维向量空间中，我们通过维基百科从远程监督产生的注释数据进行训练。由此，我们离线计算代表每个单词的特征向量。当与香草递归神经网络模型一起使用时，这种表示产生了实质性的改进。我们在ONTONOTES 5.0上建立了一个新的最先进的F1得分87.95，同时在过度研究的CONLL-2003数据集上将最先进的性能与F1得分91.73相匹配。
2018-06-09 cs.CL
UH-PRHLT at SemEval-2016 Task 3: Combining Lexical and Semantic-based Features for Community Question Answering
Universitat Politècnica de València（瓦伦西亚理工大学）；University of Houston（休斯顿大学）
在这项工作中，我们描述了由休斯顿大学（UH）计算机科学系和模式识别和人类语言技术（PRHLT）研究中心- Universitat Polit`ecnica de Val` Valle：UH-PRHLT为SemEval 2016任务3的三个英语子任务构建的系统。我们的系统代表的实例，同时使用基于词汇和语义的文本对之间的相似性度量。我们的语义功能包括使用分布式表示的话，知识图谱生成的BabelNet多语言语义网络，和FrameNet词汇数据库。实验结果优于随机和谷歌搜索引擎基线在三个英语子任务。与其他任务参与者相比，我们的方法获得了子任务B的最高结果。
2018-07-30 cs.CL
Resolving Lexical Bias in Model Editing
Department of Computer Science, Dalhousie University, Halifax, Canada（计算机科学系，达尔豪斯大学，哈利法克斯，加拿大）
本文提出PENME方法，通过学习解耦表示空间解决模型编辑中的词汇偏差问题，实现精确编辑定位，在保持计算效率的同时达到最先进性能。
2025-05-28 cs.CL
CALE : Concept-Aligned Embeddings for Both Within-Lemma and Inter-Lemma Sense Differentiation
University of Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRIStAL（里尔大学、INRIA、法国国家科学研究中心、Centrale Lille、UMR 9189 - CRIStAL）
本文提出CALE模型，通过概念区分任务提升词义表示的准确性和多用途性，实验证明其在词义任务中表现优异。
2026-01-23 cs.CL
SynFlow: A Multidimensional Diachronic Semantic Analysis Toolkit
KU Leuven（鲁汶大学）；Instituut voor de Nederlandse Taal（荷兰语言研究所）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
SynFlow是用于语言使用多维历时分析的开源工具包，支持多维度分析与多种功能，通过案例研究验证其有效性，并在SemEval-2020 Task 1中对比了其表示性能与现有系统。
2026-09-01 cs.CL
Dual-Coding Theory and Connectionist Lexical Selection
我们引入双语双重编码理论作为双语心理表征的模型。基于该模型，实现了机器翻译中连接主义迁移项目的词汇选择神经网络。这种词汇选择方法有两个优点。首先，它是可学习的。在知识工程上几乎不需要人力。其次，它是心理语言学上有充分依据的。
1994-05-31 cmp-lg cs.CL
