CiwGAN and fiwGAN: Encoding information in acoustic data to model lexical learning with Generative Adversarial Networks
University of California, Berkeley（加州大学伯克利分校）
深度神经网络如何将与人类语音中的单词相对应的信息编码到原始声学数据中？本文提出了两种神经网络架构，用于从原始声学输入中建模无监督词汇学习，ciwGAN（分类InfoWaveGAN）和fiwGAN（分类InfoWaveGAN），将音频数据的深度卷积GAN架构（WaveGAN; arXiv：1705.07904）与GAN的信息理论扩展- InfoGAN（arXiv：1606.03657）相结合，并提出了一种新的潜在空间结构，可以同时对特征学习进行建模，同时进行更高级别的分类，并允许词汇项的非常低维的向量表示。词汇学习被建模为从迫使深度神经网络输出数据的架构中涌现，使得可以从其声学输出中检索唯一信息。在TIMIT的词汇项上训练的网络学习在其潜在空间中以类别变量的形式编码与词汇项对应的独特信息。通过操纵这些变量，网络输出特定的词汇项。该网络偶尔会输出违反训练数据的创新词汇项，但对于认知建模和神经网络可解释性来说，这些词汇项在语言上是可解释的，并且信息量很大。创新的输出表明，网络学习的语音和音位表示可以有效地重新组合，并直接转换为人类语音的生产力：一个在“西装”和“黑暗”上训练的fiwGAN网络输出创新的“开始”，即使它从未在训练数据中看到“开始”甚至是[st]序列。我们还认为，设置潜在的特征代码的值远远超出训练范围的结果，在几乎范畴生成的原型词汇项目，并揭示每个潜在的代码的潜在价值。
2021-07-28 cs.CL cs.LG
Filling Missing Paths: Modeling Co-occurrences of Word Pairs and Dependency Paths for Recognizing Lexical Semantic Relations
The University of Tokyo（东京大学）
识别词对之间的词汇语义关系是自然语言处理许多应用中的一项重要任务。其中一个主流的方法是利用连接两个目标词的词汇-句法路径，这些路径反映了词对之间的语义关系。然而，这种方法要求所考虑的单词在句子中共同出现。这一要求很难满足，因为齐普夫定律指出，大多数实义词很少出现。在本文中，我们提出了新的方法与$P(path|w_1, w_2)$的神经模型来解决这个问题。我们提出的$P(path|w_1, w_2)$模型可以以无监督的方式学习，并且可以概括词对和依赖路径的共现。该模型可以用来扩充语料库中不共现的词对的路径数据，并从词对中提取捕捉关系信息的特征。我们的实验结果表明，我们的方法改进了以前的神经方法的依赖路径，并成功地解决了集中的问题。
2018-09-10 cs.CL
When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors
Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）；Tel Aviv University（特拉维夫大学）
该研究提出EICS指标与CASP-VL基准，发现VLMs的空间关系表征忠实度远低于词汇信息，且该关系在全局表征中消失，揭示了其存在的系统性缺陷。
2026-10-12 cs.CL
Probing Pretrained Language Models for Lexical Semantics
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
BERT和RoBERTa等大型预训练语言模型（LM）的成功引发了人们对探索其表示的兴趣，以揭示它们隐含地捕获了哪些类型的知识。虽然以前的研究集中在形态句法，语义和世界知识，它仍然不清楚在何种程度上LM也从上下文中的单词获得词汇类型级别的知识。在这项工作中，我们提出了一个系统的实证分析，在六个类型不同的语言和五个不同的词汇任务，解决以下问题：1）如何不同的词汇知识提取策略（单语与多语言源LM，上下文外与上下文编码，包括特殊标记，分层平均）的影响性能？在不同的任务和语言中观察到的效果有多一致？2)词汇知识是存储在几个参数中，还是分散在整个网络中？3)在词汇任务中，这些表征与传统的静态词向量相比表现如何？4)从独立训练的单语LM中出现的词汇信息是否显示出潜在的相似性？我们的主要结果表明，普遍适用的模式和最佳实践，但也指出了不同语言和任务之间的显著差异。此外，我们验证了较低的Transformer层携带更多的类型级词汇知识的说法，但也表明，这种知识分布在多个层。
2020-10-12 cs.CL
Tracing Relational Knowledge Recall in Large Language Models
TU Dresden（德累斯顿技术大学）
研究大型语言模型在文本生成中如何回忆关系知识，通过线性探测识别适合关系分类的潜在表示。分析不同潜在表示，发现注意力头对残差流的贡献是线性关系分类的强特征。
2026-04-23 cs.CL
Tiered Clustering to Improve Lexical Entailment
University of Illinois-Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
自然语言处理中的许多任务都涉及识别词汇蕴涵。最近提出了两种不同的方法来解决这个问题，这两种方法彼此非常不同。第一个是一个非对称的相似性度量，旨在给高分时，较窄的条款的上下文的蕴涵是一个子集的较广泛的条款。第二种是监督的方法，其中学习分类器以预测给定单词的级联潜在向量表示的蕴涵。这两种方法都是向量空间模型，使用单个上下文向量作为单词的表示。在这项工作中，我研究的影响，聚类词的意义，并使用这些多个上下文向量来推断蕴涵使用这两种算法的扩展。我发现，这种方法提供了一些改进，这些蕴涵算法。
2014-12-02 cs.CL
Human-Level Performance on Word Analogy Questions by Latent Relational Analysis
本文介绍了潜在关系分析（LRA），一种测量关系相似性的方法。LRA在信息抽取、词义消歧、机器翻译、信息检索等领域有着广泛的应用前景。关系相似性是关系之间的对应关系，而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时，我们称之为同义词。当两对词具有高度的关系相似性时，我们说它们的关系是相似的。例如，mason/stone这个词对就类似于carpenter/wood这个词对。过去的工作语义相似性的措施，主要是关注属性相似性。最近的向量空间模型（VSM）的信息检索已被改编为测量关系相似性的任务，实现了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中，一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法：（1）模式是从语料库中自动导出的（它们不是预定义的），（2）奇异值分解（SVD）用于平滑频率数据（在潜在语义分析中也以这种方式使用），以及（3）自动生成的同义词用于探索词对的重新表达。LRA在374个类比问题上的得分为56%，在统计学上相当于人类的平均得分57%。在分类名词修饰语关系的相关问题上，LRA在使用较小的语料库的同时实现了与VSM相似的增益。
2004-12-06 cs.CL cs.IR cs.LG
Measuring Semantic Similarity by Latent Relational Analysis
本文介绍了潜在关系分析（LRA），一种测量语义相似度的方法。LRA度量两对词之间语义关系的相似性。当两对具有高度的关系相似性时，它们是相似的。例如，对cat：meow类似于对dog：bark。认知科学有证据表明，关系相似性是许多认知和语言任务的基础（例如，类比推理）。在向量空间模型（VSM）方法来测量关系的相似性，两对之间的相似性是由代表两对向量之间的夹角的余弦计算。向量中的元素基于大型语料库中手动构建的模式的频率。LRA以三种方式扩展了VSM方法：（1）模式自动从语料库中导出，（2）奇异值分解用于平滑频率数据，以及（3）同义词用于重新表达单词对。本文介绍了LRA算法和实验比较LRA VSM两个任务，回答大学水平的多项选择词类比问题和分类名词修饰语表达的语义关系。LRA实现了最先进的结果，在类比问题上达到了人类水平的表现，并且在两项任务上都大大超过了VSM的表现。
2005-08-10 cs.CL cs.IR cs.LG
Nominal Compound Chain Extraction: A New Task for Semantic-enriched Lexical Chain
Wuhan University（武汉大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
词汇链由文档中的衔接词组成，它暗示了文本的底层结构，从而有助于下游的NLP任务。然而，现有的工作主要集中在检测具有浅层句法关联的简单表层词汇，而忽略了语义感知的词汇复合词以及潜在的语义框架，主题），这对于现实世界的NLP应用程序来说可能更为重要。在本文中，我们介绍了一种新的任务，名词复合词链提取（NCCE），提取和聚类所有名词复合词，共享相同的语义主题。此外，我们将任务建模为两阶段预测（即，复合提取和链检测），其经由所提出的联合框架来处理。该模型采用BERT编码器来产生上下文化的文档表示。此外，知网作为外部资源，提供丰富的义素信息。实验基于我们的人工标注语料库，结果证明了NCCE任务的必要性以及我们的联合方法的有效性。
2020-09-19 cs.CL
Bootstrapping Lexical Choice via Multiple-Sequence Alignment
任何生成系统的一个重要组成部分是映射字典，基本语义表达式和相应的自然语言实现的词典。通常，使用劳动密集型的基于知识的方法来构建词典。相反，我们建议通过一种新的多通道算法，采用多序列比对，生物信息学中常用的技术，自动获得它。至关重要的是，我们的方法利用了多个并行语料库中包含的潜在信息-提供相应语义的几个动词化而不仅仅是一个的数据集。我们使用我们的技术来生成计算机生成的数学证明的自然语言版本，在每个组件和整体输出的基础上都有很好的结果。例如，在涉及十几个人类法官的评估中，我们的系统产生的输出，其可读性和对语义输入的忠实性与传统生成系统相媲美。
2002-05-25 cs.CL
A Novel Bilingual Word Embedding Method for Lexical Translation Using Bilingual Sense Clique
Shanghai Jiao Tong University（上海交通大学）；Centre National de la Recherche Scientifique（法国国家科学研究中心）；National Institute of Information and Communications Technology（信息通信研究机构）
现有的双语词嵌入方法大多只考虑了浅上下文或简单的共现信息。本文提出了一种潜在双语语义单元（Bilingual Sense Clique，BSC），它是由双语语料库上基于逐点互信息的图的最大完全子图导出的。这样，我们平等地对待源和目标词，并且不再需要在大多数现有作品中必须使用的单独的双语投影处理。几种降维方法进行评估，总结BSC的字的关系。在双语词典翻译任务上对所提出的方法进行了评估，实验结果表明，双语意义嵌入方法优于现有的双语词嵌入方法。
2016-08-02 cs.CL
Identifying Linear Relational Concepts in Large Language Models
University College London（伦敦大学学院）
本文提出线性关系概念（LRC）技术，通过线性关系嵌入（LRE）及其反转在Transformer语言模型潜在空间中定位人类可解释概念的方向，在概念分类和因果改变模型输出方面优于黑盒探测分类器。
2024-03-29 cs.AI cs.CL
Latent Bridges for Multi-Table Question Answering
EURECOM；University of Antwerp（安特卫普大学）
提出GRAB管道，通过图编码器和潜在桥梁将关系数据转化为紧凑表示，冻结LLM以保持推理能力，在多表问答中显著提升性能。
2026-10-23 cs.AI cs.CL cs.DB
Analogical Inference for Multi-Relational Embeddings
Carnegie Mellon University（卡内基梅隆大学）
大规模多关系嵌入是指学习大型知识图谱中实体和关系的潜在表示的任务。一个有效的和可扩展的解决方案，这个问题是基于知识的推理在广泛的应用中的真正成功的关键。本文提出了一种新的框架，优化潜在的表示方面的\textit{analogical}属性的嵌入式实体和关系。通过以可微的方式制定学习目标，我们的模型具有理论能力和计算可扩展性，并且在基准数据集上显著优于大量代表性基线方法。此外，该模型提供了一个优雅的统一的几个著名的方法在多关系嵌入，这可以被证明是我们的框架的特殊实例。
2017-07-06 cs.AI cs.CL cs.LG
Evaluating the Utility of Document Embedding Vector Difference for Relation Learning
最近的工作表明，通过减去预训练的词嵌入向量获得的向量偏移量可以用于预测词汇关系，具有惊人的准确性。受这一发现的启发，在本文中，我们将这个想法扩展到文档级，生成文档级嵌入，计算它们之间的距离，并使用线性分类器对文档之间的关系进行分类。在重复检测和对话行为标记任务的背景下，我们表明，文档级差异向量在评估文档级相似性方面具有实用性，但在多关系分类中表现不佳。
2019-07-18 cs.CL
Encoded Summarization: Summarizing Documents into Continuous Vector Space for Legal Case Retrieval
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；The National Institute of Informatics（日本国立信息学研究所）
本文提出利用深度神经网络的短语评分框架将文档摘要编码至连续向量空间以解决法律案件检索任务，并探索结合词汇特征与潜在特征以提升系统性能，最终在实验数据集上取得65.6%和57.6%的F1分数。
2023-09-15 cs.CL
Parts-of-Speech as Emergent Categories in SAE Latent Space
University of Pisa（比萨大学）
本研究通过词性分类测试，发现SAE潜在空间以分布式特征组而非原子特征编码形态句法信息，且类别可恢复性不依赖词汇记忆。
2026-09-25 cs.CL
Enhanced word embeddings using multi-semantic representation through lexical chains
University of Michigan - Dearborn（密歇根大学迪尔伯恩分校）；University of Wuppertal（伍珀塔尔大学）；Federal University of ABC（ABC联邦大学）
句子中单词之间的关系通常比单个单词更能告诉我们文档的潜在语义内容。在这项工作中，我们提出了两个新的算法，称为灵活的词汇链II和固定的词汇链II。这些算法结合了来自词汇链的语义关系、来自词汇数据库的先验知识以及词嵌入中的分布假设的鲁棒性，作为形成单个系统的构建块。简而言之，我们的方法有三个主要贡献：（i）一组技术，完全集成词嵌入和词汇链;（ii）一个更强大的语义表示，考虑到文档中的单词之间的潜在关系;和（iii）轻量级的词嵌入模型，可以扩展到任何自然语言任务。我们打算评估预训练模型的知识，以评估它们在文档分类任务中的鲁棒性。所提出的技术进行了测试，对七个词嵌入算法，使用五个不同的机器学习分类器在六个场景中的文档分类任务。我们的研究结果表明，词汇链和词嵌入表征之间的整合维持了最先进的结果，即使对更复杂的系统。
2022-12-19 cs.CL cs.LG
Linear Relational Decoding of Morphology in Language Models
Brown University（布朗大学）；University of Colorado Colorado Springs（科罗拉多州立大学）
本文提出用基于模型导数的线性变换Ws解码语言模型中的形态学关系，在Bigger Analogy Test Set上达到90%忠实度，并验证了跨语言和跨模型的有效性，证明形态学等概念关系在潜在空间中可被稀疏线性编码。
2025-07-19 cs.CL
Prior Attention for Style-aware Sequence-to-Sequence Models
Ghent University（根特大学）；imec（imec校际微电子中心）
我们扩展序列到序列模型的可能性，以控制所生成的输出的特性或风格，通过注意力，这是从一个潜在的代码向量的先验（解码前）。在训练了初始的基于注意力的序列到序列模型之后，我们使用基于输入序列的表示和潜在代码向量空间的变分自动编码器来生成注意力矩阵。通过在解码期间从该潜在空间的特定区域采样代码向量，并在seq 2seq模型中施加由其生成的先前注意力，可以将输出转向具有某些属性。这是证明了句子简化的任务，其中的潜在代码向量允许控制输出长度和词汇简化，并使微调，以优化不同的评估指标。
2018-06-25 cs.CL
Improving Entity Linking by Modeling Latent Relations between Mentions
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
实体链接涉及将命名实体的文本提及与知识库中相应的条目对齐。实体链接系统经常利用文档中的文本提及之间的关系（例如，共同引用）以决定链接决定是否兼容。与以前的方法不同，这些方法依赖于监督系统或统计学来预测这些关系，我们将关系视为神经实体链接模型中的潜在变量。我们在没有任何监督的情况下诱导关系，同时以端到端的方式优化实体链接系统。我们的多关系模型在标准基准测试（AIDA-CoNLL）中获得了最好的报告分数，并且大大优于其关系不可知版本。它的训练也收敛得更快，这表明注入的结构偏差有助于解释训练数据中的错误。
2018-04-27 cs.CL
Learning Word Representations from Relational Graphs
The University of Liverpool（利物浦大学）；National Institute of Informatics（国立信息学研究所）；Preferred Infrastructure, Inc.（Preferred Infrastructure公司）
词的属性和两个词之间的关系是人工智能中许多任务的核心，例如知识表示，相似性度量和类比检测。当两个词有一个或多个共同的属性时，它们通常通过某种语义关系连接起来。另一方面，如果两个词之间有许多语义关系，我们可以预期其中一个词的某些属性会被另一个词继承。由于属性和关系之间的这种紧密联系，给定一个关系图，其中单词通过许多语义关系相互连接，我们提出了一种方法来学习单个单词的潜在表示。该方法不仅考虑了现有的词表示学习方法所做的词的共现，而且还考虑了两个词共现的语义关系。为了评估使用所提出的方法学习的单词表示的准确性，我们使用学习的单词表示来解决语义单词类比问题。我们的实验结果表明，它是可能的，以学习更好的词表示，通过使用词之间的语义语义。
2014-12-07 cs.CL
Semantic Relation Classification via Bidirectional LSTM Networks with Entity-aware Attention using Latent Entity Typing
Hanyang University（汉阳大学）
对句子中实体对之间的语义关系进行分类是自然语言处理的一项重要任务。大多数以前的关系分类模型依赖于由NLP工具获得的高级词汇和句法特征，如WordNet，依赖解析器，词性（POS）标记器和命名实体识别器（NER）。此外，基于注意力机制的最新神经模型没有充分利用实体的信息，而实体的信息可能是关系分类的最关键特征。为了解决这些问题，我们提出了一种新的端到端的递归神经模型，它结合了一个实体感知的注意力机制与潜在的实体类型（LET）的方法。我们的模型不仅有效地利用了实体及其潜在类型作为特征，而且通过可视化应用于我们的模型和LET结果的注意力机制，使其更具可解释性。在SemEval-2010 Task 8（最流行的关系分类任务之一）上的实验结果表明，我们的模型在没有任何高级特征的情况下优于现有的最先进的模型。
2019-01-23 cs.CL
Between Century and Poet: Graph-Based Lexical Semantic Change in Persian Poetry
Sharif University of Technology（谢里夫理工大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文通过词向量空间与图分析研究波斯诗歌中词汇语义的变迁，揭示词汇在历史与文学传统中的持续性与语义网络重构的动态过程。
2026-04-08 cs.AI cs.CL
Modeling speech recognition and synthesis simultaneously: Encoding and decoding lexical and sublexical semantic information into speech with no direct access to speech data
University of California, Berkeley（加州大学伯克利分校）
人类说话者将信息编码成原始语音，然后由听者解码。编码（产生）和解码（感知）之间的这种复杂关系通常是单独建模的。在这里，我们测试了词汇语义信息的编码和解码如何在无监督生成深度卷积网络中从原始语音中自动出现，该网络结合了语音的产生和感知原理。据我们所知，我们介绍了无监督词汇学习中最具挑战性的目标：一个网络，必须学习词汇项的唯一表示，没有直接存取训练数据。我们训练了几个模型（ciwGAN和fiwGAN arXiv：2006.02951），并测试了网络如何在未观察到的测试数据中对声学词汇项进行分类。有力的证据支持词汇学习和潜在代码和有意义的亚词汇单位之间的因果关系出现。因此，组合产生和感知原理的架构能够学习从原始声学数据解码唯一信息，而无需直接访问真实的训练数据。我们提出了一种技术，探索词汇（整体）和词汇（特征）学习表示的分类器网络。这些结果对无监督语音技术以及无监督语义建模具有重要意义，因为语言模型越来越多地绕过文本并从原始声学进行操作。
2022-06-29 cs.CL cs.SD eess.AS
Relational Schemata in BERT Are Inducible, Not Emergent: A Study of Performance vs. Competence in Language Models
Cole Gawin（独立研究者）
该研究探究BERT是否编码抽象关系模式，发现预训练BERT有潜在关系信号但关系模式非预训练涌现，可通过监督任务微调诱导获得，揭示模型行为表现不必然等同于结构化概念理解。
2025-06-13 cs.AI cs.CL
Polarization and Morality: Lexical Analysis of Abortion Discourse on Reddit
University of California San Diego（加州大学圣迭戈分校）
本研究基于 Reddit 上 145,832 条堕胎辩论评论，结合道德基础理论，通过道德词典频率、n-gram 模型和 LDA 主题分析，揭示了道德词汇使用与堕胎立场之间的对应关系。
2024-06-29 cs.CL cs.CY
Multiplex lexical networks reveal patterns in early word acquisition in children
University of Southampton（南安普顿大学）；University of Kansas（堪萨斯大学）
语言的网络模型提供了一种将认知过程与语言的结构和连通性联系起来的方法。然而，目前的方法的一个缺点是在同一时间只关注一种类型的语言关系，错过了复杂的多关系的语言性质。在这项工作中，我们克服了这个限制，通过建模的心理词汇的英语幼儿作为一个多元化的词汇网络，即一个多层网络，其中N=529个单词/节点连接根据四种类型的关系：（i）自由协会，（ii）功能共享，（iii）同现，（iv）语音相似性。我们提供分析的拓扑结构所产生的多重，然后继续评估单层以及完整的多重结构，他们的能力来预测经验观察到的年龄的收购数据的讲英语的幼儿。我们发现，新兴的多重网络拓扑结构是一个重要的代理的认知过程中的收购，能够捕捉新兴的词汇结构。事实上，我们表明，多重拓扑结构是从根本上更强大的比单独的层在预测的顺序与收购的话。此外，多重分析允许量化的不同阶段的词汇习得在早期学习者：虽然最初所有的多重层有助于单词学习，约23个月后，自由协会带头驾驶单词习得。
2017-05-26 cond-mat.dis-nn cs.CL cs.LG
Lost in Sampling: Assessing Lexical Reachability in LLMs via the Word Coverage Score (WCS)
Information and Processing Telecommunications Center（信息与处理电信中心）；Universidad Politécnica de Madrid（马德里理工大学）；Politecnico di Milano（米兰理工大学）；Banco de España（西班牙银行）
提出词覆盖率（WCS）指标，量化标准采样过滤器（如Top-p、Top-k、Min-p）如何抑制低频率高信息词汇的生存率，揭示解码机制对语言多样性的影响。
2026-08-24 cs.AI cs.CL
An Object-Oriented and Fast Lexicon for Semantic Generation
Leiden University Centre for Linguistics (LUCL)（莱顿大学语言学中心（LUCL））
本文介绍了一个大型计算词典的技术设计、存储和在Prolog环境下的访问。传统上，数据结构的有效访问和存储是由关系数据库管理系统实现的。在Delilah，一个基于词典的NLP系统中，语义生成器对词典的有效访问至关重要。我们表明，我们非常详细的HPSG风格的词汇规范不适合在关系模型，他们不能有效地检索。我们认为，他们更自然地适合在面向对象的模型。虽然存储的对象是冗余的，我们声称，有效的访问仍然是可能的，通过应用索引，和压缩技术，从关系模型的面向对象的模型。我们证明，它是可能的，以实现面向对象的存储和快速访问的ISO Prolog。
2009-05-20 cs.CL cs.DB cs.DS
Coupled Usage-Sense Processes: Temporal and Attributable Lexical Semantic Change
The University of Tokyo（东京大学）；The Canon Institute for Global Studies（佳能全球研究所）
本文提出耦合使用-意义过程（CUSP），通过边际保持的时间过程从词汇语义变化中同时提取变化幅度、时间、机制、运动、模式及文本证据，并在合成与真实语料上验证其有效性。
2026-09-28 cs.CL stat.ML
Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions
Idiap Research Institute（伊迪亚普研究所）；University of Manchester（曼彻斯特大学）；National Biomarker Centre（国家生物标志物中心）
本文提出一种多关系模型，通过从词典定义中自动提取概念关系，在双曲空间中利用翻译框架学习词嵌入，实验证明其比欧几里得方法更优，且比神经模型更高效可解释。
2024-02-16 cs.CL cs.LG
Multilingual Factor Analysis
Babylon Health（巴比伦健康）
在这项工作中，我们通过将生成潜在变量模型拟合到多语言词典来实现以离线方式学习多语言单词表示的任务。我们在不同的语言中的等效词作为同一个词的不同意见所产生的一个共同的潜在变量代表他们的潜在词汇意义。我们通过查询多语言嵌入的拟合模型来探索对齐的任务，在各种任务中获得有竞争力的结果。该模型对嵌入空间中的噪声具有鲁棒性，使其成为从噪声语料库中学习分布式表示的合适方法。
2019-10-23 cs.CL cs.LG stat.ML
Exploiting Global Semantic Similarities in Knowledge Graphs by Relational Prototype Entities
University of Science and Technology of China（中国科学技术大学）
知识图谱（KG）嵌入旨在学习KG在连续向量空间中的实体和关系的潜在表示。一个经验观察是，由相同关系连接的头（尾）实体通常共享相似的语义属性-具体地说，它们通常属于同一类别-无论它们在KG中彼此相距多远;也就是说，它们共享全局语义相似性。然而，许多现有的方法推导KG嵌入的基础上的本地信息，这不能有效地捕捉这种全局语义相似性的实体。为了解决这个问题，我们提出了一种新的方法，它引入了一组虚拟节点称为\textit{\textbf{relational prototype entities}}来表示原型的头部和尾部实体连接相同的关系。通过强制实体的嵌入接近其相关联的原型的嵌入，我们的方法可以有效地鼓励实体的全局语义相似性-可以远离KG -通过相同的关系连接。实体对齐和KG完成任务的实验表明，我们的方法显着优于最近的国家的最先进的。
2022-06-16 cs.AI cs.CL
SenseFitting: Sense Level Semantic Specialization of Word Embeddings for Word Sense Disambiguation
Goethe University Frankfurt（法兰克福歌德大学）
本文介绍了一个基于神经网络的德语词义消歧系统，该系统基于一种新的优化词义消歧的方法-SenseFitting。我们比基于知识的WSD方法的F1得分高出25%，并在德国意义注释数据集WebCAGe上产生了一个新的最先进的方法。我们的方法使用三个特征向量组成的a）意义，b）光泽，和c）关系向量来表示目标意义，并将它们与样本上下文的向量质心进行比较。利用广泛可用的词嵌入和词汇资源，我们能够弥补德语的低资源可用性。SenseFitting建立在最近引入的语义专业化过程Attract-Repel的基础上，并利用来自词汇语义网络（例如GermaNet）或在线社交词典（例如Wiktionary）的语义级语义约束，从预先训练的词嵌入中生成高质量的语义嵌入。我们评估我们的意义嵌入与一个新的SimLex-999为基础的相似性数据集，称为SimSense，我们开发了这项工作。我们实现的结果，优于目前的基于引理的专业化方法为德国，使他们的英语取得的成果相媲美。
2019-07-30 cs.CL cs.LG
Unified Lexical Representation for Interpretable Visual-Language Alignment
Fudan University（复旦大学）；AWS Shanghai AI Lab（亚马逊云科技上海人工智能实验室）；Amazon Web Services（亚马逊云科技）
本文提出LexVLA，通过统一词汇表示实现可解释的视觉-语言对齐，利用DINOv2和Llama 2，无需复杂设计，在跨模态检索上优于更大规模数据训练的基线。
2024-11-11 cs.AI cs.CL cs.CV
GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）；Google, Inc.（谷歌公司）；New York University（纽约大学）
现代深度迁移学习方法主要集中在从一个任务中学习可转移到其他任务的通用特征向量，例如语言中的词嵌入和视觉中的预训练卷积特征。然而，这些方法通常转移一元特征，并在很大程度上忽略了更结构化的图形表示。这项工作探索了学习通用潜在关系图的可能性，这些图捕获了数据单元对之间的依赖关系（例如，字或像素），并将图形传输到下游任务。我们提出的迁移学习框架提高了各种任务的性能，包括问答，自然语言推理，情感分析和图像分类。我们还表明，学习的图是通用的，足以被转移到不同的嵌入上，图还没有被训练（包括GloVe嵌入，ELMo嵌入，和特定于任务的RNN隐藏单元），或嵌入免费的单位，如图像像素。
2018-07-02 cs.CL cs.CV cs.LG
Latent Topology Induction for Understanding Contextualized Representations
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
在这项工作中，我们研究了上下文嵌入的表示空间，并深入了解大语言模型的隐藏拓扑。我们发现，存在一个网络的潜在状态，总结语境化表示的语言特性。我们没有寻求与现有定义良好的注释的对齐，而是使用结构化的变分自编码器以完全无监督的方式推断这个潜在网络。诱导状态不仅作为表征流形拓扑结构（邻居和连通性）的锚点，而且还揭示了句子编码的内在机制。利用诱导网络，我们：（1）.将表示空间分解为一系列潜在状态，这些潜在状态利用词汇、形态、句法和语义信息对细粒度的词义进行编码;（2）.显示状态-状态转换编码丰富的短语结构，并作为潜在空间的骨干。把这两个放在一起，我们表明，句子表示为一个遍历的潜在网络中的状态-状态转换链编码的语法模板和状态字排放填写的内容。我们通过大量的实验和可视化来证明这些见解。
2022-06-03 cs.AI cs.CL cs.LG
