Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology（香港科技大学）；Ant Financial Services Group（蚂蚁金融服务集团）；The Education University of Hong Kong（香港教育大学）
我们提出了一种新的分层主题检测方法，主题是通过多种方式聚类文件。具体来说，我们使用一类称为分层潜在树模型（HLTM）的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量，表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量，最低潜级别的变量表示单词同现模式，较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区，分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式，从而给主题更一般的主题，而那些在低层次的捕获短范围的词共现模式，并给主题更具体的主题。与基于LDA的主题模型不同，HLTM不引用文档生成过程，而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系，这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Multilingual Factor Analysis
Babylon Health（巴比伦健康）
在这项工作中，我们通过将生成潜在变量模型拟合到多语言词典来实现以离线方式学习多语言单词表示的任务。我们在不同的语言中的等效词作为同一个词的不同意见所产生的一个共同的潜在变量代表他们的潜在词汇意义。我们通过查询多语言嵌入的拟合模型来探索对齐的任务，在各种任务中获得有竞争力的结果。该模型对嵌入空间中的噪声具有鲁棒性，使其成为从噪声语料库中学习分布式表示的合适方法。
2019-10-23 cs.CL cs.LG stat.ML
Improving Topic Models with Latent Feature Word Representations
Macquarie University（麦考瑞大学）；Santa Fe Institute（圣塔菲研究所）
概率主题模型被广泛用于发现文档集合中的潜在主题，而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中，我们扩展了两个不同的Dirichlet多项式主题模型，通过将在非常大的语料库上训练的单词的潜在特征向量表示，以改善在较小的语料库上学习的单词-主题映射。实验结果表明，通过使用来自外部语料库的信息，我们的新模型产生了显着的改善主题一致性，文档聚类和文档分类任务，特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
Modeling Word Relatedness in Latent Dirichlet Allocation
NTT Communication Science Laboratories（NTT通信科学实验室）
标准LDA模型存在的问题是，每个词的主题分配是独立的，因此忽略了词的相关性。为了解决这个问题，在本文中，我们提出了一个模型称为词相关潜在狄利克雷分配（WR-LDA），将词相关LDA主题模型。这带来了标准LDA模型所不具备的新功能，例如估计不常出现的单词或多语言主题建模。实验结果表明，我们的模型相比，标准LDA的有效性。
2014-11-10 cs.AI cs.CL
Web-based Semantic Similarity for Emotion Recognition in Web Objects
Sapienza University of Rome（罗马大学）；University of Perugia（佩鲁贾大学）；Hong Kong Baptist University（香港浸会大学）
在这个项目中，我们提出了一种新的方法，情感识别使用基于Web的相似性（如信心，PMI和PMING）。我们的目标是从具有情感内容的短句（例如新闻标题，推文，标题）中提取基本情感，对分析句子的每个单词与心理模型（例如Plutchik，Ekman，Lovheim）的每个情感之间的语义接近度进行基于网络的定量评估。提取的阶段包括：文本预处理（标记化、停用词、过滤）、搜索引擎自动查询、结果的HTML解析（即抓取）、语义接近度的估计、根据接近度度量对情感进行排名。其主要思想是，由于可以在假设相似概念共同出现在搜索引擎中索引的文档中的情况下概括语义相似性，因此情感也可以以相同的方式概括，通过以特定语言表达它们的标签或术语，对情感进行排名。将训练结果与人类评估进行比较，然后对结果进行额外的比较测试，两者都是针对全局排名相关性（例如Kendall，Spearman，Pearson），两者都是针对与每个单词相关的情感的评估。与情感分析不同，我们的方法在更深的抽象层次上工作，旨在识别特定的情感，而不仅仅是积极/消极的情感，以便将情感预测为语义数据。
2016-12-17 cs.AI cs.CL cs.SI
Character-Level Chinese Dependency Parsing via Modeling Latent Intra-Word Structure
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）
本文提出通过建模词内隐式结构实现中文字符级依存句法分析，并用受约束的Eisner算法保证字符级树兼容性，在中文树库上优于流水线框架和已有联合模型。
2024-06-06 cs.CL
Latent Topic Models for Hypertext
School of CS and Eng.（计算机科学与工程学院）；IBM Research Laboratory in Haifa（IBM海法研究实验室）；The Hebrew University（希伯来大学）；Haifa University（海法大学）
潜在主题模型作为一种无监督的主题发现技术已经成功地应用于大型文档集。随着超文本文档集合（如Internet）的激增，人们对将这些方法扩展到超文本也产生了极大的兴趣[6，9]。这些方法通常以类似于它们如何建模单词的方式对链接进行建模-以与在标准主题模型中对文档-单词共现矩阵进行建模相同的方式对文档-链接共现矩阵进行建模。在本文中，我们提出了一个概率生成模型的超文本文档集合，明确建模的链接的生成。具体来说，从单词w到文档d的链接直接取决于w的主题在d中的频率，以及d的入度。我们展示了如何在这个模型上有效地执行EM学习。通过不将链接建模为类似于单词，我们最终使用更少的自由参数并获得更好的链接预测结果。
2012-06-13 cs.CL cs.IR cs.LG
TopicRNN: A Recurrent Neural Network with Long-Range Semantic Dependency
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
在本文中，我们提出了TopicRNN，一个基于循环神经网络（RNN）的语言模型，旨在通过潜在主题直接捕获文档中与单词相关的全局语义。由于它们的顺序性质，RNN擅长捕捉单词序列的局部结构-语义和句法-但可能难以记住长距离依赖关系。直观地说，这些长距离依赖关系是语义性质的。相比之下，潜在主题模型能够捕获文档的全局底层语义结构，但不考虑单词排序。所提出的TopicRNN模型集成了RNN和潜在主题模型的优点：它使用RNN捕获局部（语法）依赖关系，使用潜在主题捕获全局（语义）依赖关系。与以前的上下文RNN语言建模工作不同，我们的模型是端到端学习的。单词预测的实证结果表明，TopicRNN优于现有的上下文RNN基线。此外，TopicRNN可以用作文档的无监督特征提取器。我们这样做是为了对IMDB电影评论数据集进行情感分析，并报告出错率为$6.28\%$。这与半监督方法产生的最先进的$5.91\%$相当。最后，TopicRNN还产生了合理的主题，使其成为潜在Dirichlet分配等文档模型的有用替代品。
2017-02-27 cs.AI cs.CL cs.LG
Latent Semantic Word Sense Disambiguation Using Global Co-occurrence Information
Ibaraki University（茨城大学）
本文提出了一种基于NMF的全局共现信息的词义消歧方法。当我计算依赖关系矩阵时，现有的方法倾向于从一个小的训练集产生非常稀疏的共生矩阵。因此，NMF算法有时不会收敛到期望的解。为了获得大量的共现关系，我建议使用整个训练集中词特征之间依赖关系的共现频率。这使我们能够解决数据稀疏问题，并诱导出更有效的潜在特征。为了评估词义消歧方法的效率，本文通过实验对两种基线方法的结果进行了比较。实验结果表明，该方法对词义消歧是有效的。此外，所提出的方法是有效的，通过分析全局共现信息获得稳定的效果。
2014-03-05 cs.CL cs.IR
Necessary and Sufficient Conditions and a Provably Efficient Algorithm for Separable Topic Discovery
我们开发的必要条件和充分条件和一种新的可证明一致的和有效的算法发现的主题（潜在因素）从观察（文件），实现从概率混合共享的潜在因素，具有一定的属性。我们的重点是一类主题模型，其中每个共享的潜在因素包含一个新的词，是唯一的因素，一个属性，已被称为可分性。我们的算法是基于一个关键的洞察力，即新的单词对应的凸包的极端点形成的行向量的适当规范的词同现矩阵。我们利用这种几何洞察力，建立多项式计算和样本的复杂性界限的基础上的几个各向同性的随机投影的行的规范化的词同现矩阵。我们提出的基于随机投影的算法是自然服从一个有效的分布式实现，是有吸引力的现代网络规模的分布式数据采掘应用。
2015-12-04 cs.CL cs.IR cs.LG
Topic Modeling over Short Texts by Incorporating Word Embeddings
Hefei University of Technology（合肥工业大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
从大量的短文本中推断主题成为许多内容分析任务的关键但具有挑战性的任务，例如内容特征化，用户兴趣分析和新兴主题检测。现有的方法，如概率潜在语义分析（PLSA）和潜在狄利克雷分配（LDA）不能很好地解决这个问题，因为只有非常有限的词共现信息是可用的短文本。本文研究如何将外部词汇相关知识融入到短文中，以提高话题建模的连贯性。基于词嵌入从大规模语料库中学习词的语义表示的最新研究成果，本文提出了一种新的从短文本中学习潜在主题的方法--基于嵌入的主题模型（Embedding-based Topic Model，ETM）。ETM不仅通过将短文本聚合成长伪文本来解决非常有限的词共现信息的问题，而且还利用马尔可夫随机场正则化模型，该模型使相关词有更好的机会被放入同一主题中。在真实数据集上的实验验证了该模型的有效性。
2016-09-27 cs.CL cs.IR cs.LG
Learning Topics using Semantic Locality
Syracuse University（雪城大学）
主题建模发现给定文本文档的潜在主题概率。为了生成更有意义的主题，更好地代表给定的文档，我们提出了一种新的特征提取技术，可用于数据预处理阶段。该方法包括三个步骤。首先，它从每个文档中生成单词/单词对。其次，采用双向TF-IDF算法对词/词对进行语义过滤。第三，利用K-means算法对语义相似的词对进行合并。实验在开放电影数据库（OMDb）、路透社数据集和20 NewsGroup数据集上进行。平均平均精度得分用作评估指标。比较我们的结果与其他国家的最先进的主题模型，如潜在的Dirichlet分配和传统的限制玻尔兹曼机。我们提出的数据预处理可以提高生成的主题准确率高达12.99%。
2018-04-11 cs.CL cs.IR cs.LG
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Topics in the Haystack: Extracting and Evaluating Topics beyond Coherence
TU Clausthal（克劳斯塔尔工业大学）；University of Göttingen（哥廷根大学）
在自然语言处理（NLP）中，从大型文本语料库中提取和识别潜在主题变得越来越重要。大多数模型，无论是类似于潜在狄利克雷分配（LDA）的概率模型还是神经主题模型，都遵循相同的主题可解释性和主题提取的基本方法。我们提出了一种方法，它结合了句子和文档主题的更深入的理解，并超越了简单地分析数据中的词频。这使得我们的模型能够检测潜在的主题，这些主题可能包括不常见的单词或新词，以及文档中不存在的单词。此外，我们提出了几个新的评估指标的基础上入侵者的话和相似性措施的语义空间。我们提出的相关系数与人类识别入侵者的话，并实现接近人类水平的结果，在词入侵任务。我们证明了我们的方法与一个大型的基准研究的竞争力的表现，并取得优异的结果相比，国家的最先进的主题建模和文档聚类模型。
2023-03-30 cs.CL
Handling Collocations in Hierarchical Latent Tree Analysis for Topic Modeling
The Education University of Hong Kong（香港教育大学）；The Hong Kong University of Science and Technology（香港科技大学）
主题建模是近年来机器学习中最活跃的研究领域之一。分层潜在树分析（HLTA）最近已被提出用于分层主题建模，并已显示出优于国家的最先进的方法的性能。然而，HLTA中使用的模型具有树结构，不能适当地表示共享同一个词的多词表达式的不同含义。因此，我们提出了一种方法提取和选择搭配作为HLTA的预处理步骤。在运行HLTA之前，在词袋模型中用单个标记替换选定的搭配。我们的实证评估表明，所提出的方法导致更好的性能HLTA的四个数据集测试。
2020-07-10 cs.CL cs.IR cs.LG
Impact of Pretraining Word Co-occurrence on Compositional Generalization in Multimodal Models
Flatiron Institute（Flatiron研究所）；Stanford University（斯坦福大学）
研究预训练词共现统计对CLIP及LMMs组合泛化的影响，发现PMI与零样本准确率强相关，揭示了多模态模型组合泛化能力受概念组合影响，需改进算法架构。
2025-07-10 cs.CV cs.LG
Context Vectors are Reflections of Word Vectors in Half the Dimensions
Nazarbayev University（纳扎尔巴耶夫大学）
本文对word 2 vec等模型中的词嵌入和上下文嵌入之间的关系进行了理论分析。我们从基本的概率假设的词向量，上下文向量和文本生成的性质。这些假设得到了现有文献的经验或理论的支持。接下来，我们证明了在这些假设下，广泛使用的词-词PMI矩阵近似是一个随机对称高斯系综。这反过来又意味着上下文向量是词向量在大约一半维度上的反映。作为我们的研究结果的直接应用，我们提出了一个理论上接地的方式捆绑权重的SGNS模型。
2019-02-26 cs.CL cs.LG stat.ML
Integrating topic modeling and word embedding to characterize violent deaths
University of California-Los Angeles（加州大学洛杉矶分校）；UCLA Fielding School of Public Health（加州大学洛杉矶分校菲尔丁公共卫生学院）
有一个不断升级的需要的方法，以确定潜在的模式，在文本数据从许多领域。我们引入了一种新的方法来识别语料库中的主题，并表示为主题序列的文件。话语原子主题建模借鉴了理论机器学习的进步，将主题建模和词嵌入集成在一起，充分利用了各自的独特功能。我们首先确定一组向量（“话语原子”），提供了一个稀疏表示的嵌入空间。原子向量可以被解释为潜在主题：通过生成模型，原子映射到单词的分布上;人们还可以推断出生成单词序列的主题。我们用一个未充分利用的文本的突出例子来说明我们的方法：美国国家暴力死亡报告系统（NVDRS）。NVDRS用结构化变量和非结构化叙述总结了暴力死亡事件。我们在叙述中确定了225个潜在主题（例如，死亡和身体攻击的准备）;这些主题中有许多没有被现有的结构化变量所捕获。基于已知的性别自杀和杀人模式，以及最近对语义空间中性别偏见的研究，我们确定了我们主题的性别偏见（例如，关于止痛药的话题是女性的）。然后，我们比较性别偏见的主题，他们的患病率在叙述女性与男性受害者。结果提供了关于致命暴力及其性别性质的报告的详细量化情况。我们的方法提供了一个灵活的和广泛适用的方法来建模文本数据中的主题。
2021-06-28 cs.CL cs.CY cs.LG
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University（杜克大学）
词嵌入是自然语言处理中的一个有力工具。在本文中，我们考虑的问题词嵌入合成\-给定向量表示的两个词，计算一个向量的整个短语。我们给出了一个生成模型，可以捕捉特定的句法关系的话。在我们的模型下，我们证明了三个词之间的相关性（由他们的PMI测量）形成一个张量，具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量，其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验，验证我们的假设，并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
A Joint Model of Conversational Discourse and Latent Topics on Microblogs
Tencent AI Lab（腾讯人工智能实验室）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）
传统的话题模型不能有效地从微博消息中提取话题，因为缺乏结构和上下文的短消息表现出数据稀疏性，导致消息级的词共现模式很差。针对这一问题，本文根据微博消息的转发和回复关系将其组织成会话树，并提出一个无监督的模型，该模型联合学习词分布来表示：1）会话话语的不同角色，2）反映内容信息的各种潜在主题。通过明确区分不同的话语角色，包含主题词的消息的概率，我们的模型是能够发现集群的话语词是指示的主题内容。在一个大规模的微博语料库的自动评估，我们的联合模型产生的主题具有更好的连贯性分数比竞争的主题模型从以前的研究。对模型输出的定性分析表明，我们的模型诱导有意义的话语和主题的表征。我们进一步提出了一个基于我们的联合模型的输出微博摘要的实证研究。实验结果表明，联合建模的话语和主题表征可以有效地指示微博会话中值得摘要的内容。
2018-09-11 cs.CL
Multi-view and Multi-source Transfers in Neural Topic Modeling with Pretrained Topic and Word Embeddings
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
虽然词嵌入和主题是互补的表示，但过去的一些工作仅在（神经）主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏问题。然而，没有先前的工作采用（预先训练的潜在）的主题在迁移学习范例。在本文中，我们提出了一种方法（1）使用从大型源语料库中获得的潜在主题进行知识转移，以及（2）通过神经主题建模中的两种表示（或视图）联合转移知识，以提高主题质量，更好地处理目标语料库中的多义和数据稀疏问题。在此过程中，我们首先从一个或多个源语料库中积累主题和单词表示，以构建主题和单词向量池。然后，我们识别一个或多个相关的源域，并通过相应的池利用相应的主题和单词特征来指导稀疏目标域中的有意义的学习。我们量化的主题和文件表示的质量，通过泛化（困惑），可解释性（主题连贯性）和信息检索（IR）使用短文本，长文本，小型和大型的文件集，从新闻和医疗领域。我们已经证明了国家的最先进的结果主题建模与建议的框架。
2019-09-17 cs.CL cs.IR cs.LG
Improving the Inference of Topic Models via Infinite Latent State Replications
Nanyang Technological University（南洋理工大学）；Universidad de los Andes（洛斯安第斯大学）；National University of Singapore（新加坡国立大学）
在文本挖掘中，主题模型是一种概率生成模型，用于从文本语料中推断潜在语义主题。主题模型最流行的推理方法之一可能是折叠吉布斯采样（CGS），它通常为每个观察到的文档-单词对采样一个主题标签。在本文中，我们的目的是改善CGS的主题模型的推理。我们建议利用状态增强技术，通过最大化的主题样本的数量为无穷大，然后开发一种新的推理方法，称为无限潜在状态复制（ILR），生成强大的软主题分配每个给定的文档词对。在公开数据集上的实验结果表明，ILR比CGS更适合于现有主题模型的推理。
2023-01-25 cs.AI cs.CL cs.LG
Towards Robust and Semantically Organised Latent Representations for Unsupervised Text Style Transfer
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
最近的研究表明，自动编码器为基础的方法成功地执行语言生成，平滑的句子插值，和风格转移看不见的属性使用未标记的数据集在一个zero-shot的方式。这种模型的潜在空间几何结构组织得足够好，可以在风格是“粗粒度”的数据集上执行，即句子中的一小部分单词足以确定整体风格标签。最近的一项研究使用了一种基于离散标记的扰动方法来映射潜在空间中的“相似”句子（由低Levenshtein距离/高单词重叠定义的“相似”）。这种“相似性”的定义在映射潜在空间邻域时没有考虑组成词的潜在细微差别，因此在映射潜在邻域时无法识别具有不同风格语义的句子。我们引入了EPAAE（嵌入扰动对抗自动编码器），它通过在连续嵌入空间上添加可微调的噪声分量来完成这个扰动模型。我们的经验表明，这（a）产生了一个组织更好的潜在空间，将风格相似的句子聚集在一起，（b）在一组不同的文本风格转移任务上表现最好，而不是类似的去噪启发基线，（c）能够细粒度控制风格转移强度。我们还将文本样式传输任务扩展到NLI数据集，并表明EPAAE可以最好地学习这些更复杂的样式定义。据我们所知，将风格迁移扩展到NLI任务之前还没有被探索过。
2022-05-04 cs.CL
A Sequential Neural Encoder with Latent Structured Description for Modeling Sentences
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个序列神经编码器与潜在结构化描述（SNELSD）建模的句子。该模型将潜在的块级表示引入到传统的顺序神经编码器中，即，具有长短期记忆（LSTM）单元的递归神经网络（RNN），以在语义建模中考虑语言的组合性。SNELSD模型具有包括检测层和描述层的分层结构。检测层预测输入句子中潜在词块的边界，并为每个词导出块级向量。描述层利用修改后的LSTM单元以递归方式处理这些块级向量，并产生顺序编码输出。这些输出向量进一步与词向量或链式LSTM编码器的输出连接，以获得最终的句子表示。所有的模型参数都是以端到端的方式学习的，而不依赖于额外的文本分块或语法解析。一个自然语言推理（NLI）任务和一个情感分析（SA）任务被用来评估我们提出的模型的性能。实验结果表明，所提出的SNELSD模型的有效性，探索任务相关的组块模式在语义建模的句子。此外，所提出的方法实现了更好的性能比传统的链LSTM和树结构的LSTM在这两个任务。
2017-11-15 cs.CL
ProSiT! Latent Variable Discovery with PROgressive SImilarity Thresholds
Italian National Police（意大利国家警察）；Bocconi University（博科尼大学）；Stanford University（斯坦福大学）
探索潜在文档维度的最常见方法是主题模型和聚类方法。然而，主题模型有几个缺点：例如，它们要求我们先验地选择潜在维数的数目，并且结果是随机的。大多数聚类方法都有相同的问题，并且在各种方面缺乏灵活性，例如不考虑不同主题对单个文档的影响，迫使词描述符属于单个主题（硬聚类）或必须依赖于词表示。我们提出了渐进相似性保持- ProSiT，这是一种确定性和可解释的方法，与输入格式无关，它可以找到潜在维度的最佳数量，并且只有两个超参数，可以通过网格搜索有效地设置。我们比较了这种方法与广泛的主题模型和聚类方法在四个基准数据集。在大多数情况下，ProSiT匹配或优于其他方法的主题一致性和独特性的六个指标，产生可复制的，确定性的结果。
2022-10-26 cs.CL
Hierarchical Latent Semantic Mapping for Automated Topic Generation
School of Information and Communication Engineering（信息与通信工程学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
许多信息存在于前所未有的大量文本数据中。管理这些大规模文本数据的分配是许多领域的重要问题。主题模型在这个问题上表现得很好。传统的生成式模型（PLSA，LDA）是话题建模的主流方法，近年来对话题生成的研究主要集中在对这些模型的改进和扩展上。然而，传统生成模型的结果对主题数量K敏感，必须手动指定。从语料库中生成主题的问题类似于网络中的社区发现。许多有效的算法可以自动地从网络中发现社区，而无需手动指定社区的数量。受这些算法的启发，本文提出了一种新的基于层次潜在语义映射（HLSM）的主题自动生成方法。HLSM计算潜在主题空间中每对词之间的关联，然后构建具有这种关联的词的单分网络，并从该网络分层生成主题。我们将HLSM应用于几个文档集合，并与几种最先进的方法进行了实验比较，证明了其良好的性能。
2015-11-26 cs.CL cs.IR cs.LG
LTSG: Latent Topical Skip-Gram for Mutually Learning Topic Model and Vector Representations
Sun Yat-Sen University（中山大学）
在文本挖掘中，主题模型被广泛用于发现跨文档共享的潜在主题。向量表示、词嵌入和主题嵌入将词和主题映射到低维、稠密的实值向量空间，在自然语言处理任务中获得了很高的性能。然而，大多数现有的模型假设其中一个模型训练的结果是完全正确的，并作为先验知识用于改进另一个模型。其他一些模型使用从外部大型语料库中训练的信息来帮助改进较小的语料库。在本文中，我们的目标是建立这样一个算法框架，使主题模型和向量表示在同一语料库中相互改善。采用EM风格的算法框架来迭代优化主题模型和向量表示。实验结果表明，我们的模型在各种NLP任务上的性能优于最先进的方法。
2017-02-23 cs.CL
Automated Word Puzzle Generation via Topic Dictionaries
Eötvös Loránd University（厄特沃什·罗兰大学）
我们提出了一种通用的自动化字谜生成方法。与该新领域中的先前方法相反，所提出的方法不依赖于通过认真的人类注释努力获得的高度结构化的数据集：它只需要非结构化和未注释的语料库（即，文档集合）作为输入。该方法建立在两个附加支柱上：（i）主题模型，其从输入语料库中归纳主题词典（示例包括例如，潜在语义分析、组结构词典或潜在狄利克雷分配），以及（ii）词对的语义相似性度量。我们的方法可以（i）自动生成大量不同类型的正确的字谜，包括奇数出，选择相关的词和分离的主题难题。(ii)它可以通过替换语料库组件轻松创建特定领域的谜题。(iii)它还能够自动生成具有可参数化难度级别的谜题，例如，初学者或中级学习者。
2012-06-02 cs.CL math.CO
Convolutional Poisson Gamma Belief Network
Xidian University（西安电子科技大学）；McCombs School of Business, The University of Texas at Austin（德克萨斯大学奥斯汀分校麦库姆斯商学院）
对于文本分析，人们经常诉诸于一种有损表示，这种有损表示要么完全忽略词序，要么将每个单词嵌入为低维密集特征向量。在本文中，我们提出了卷积泊松因子分析（CPFA），它直接对无损表示进行操作，该表示将每个文档中的单词处理为一系列高维独热向量。为了提高其性能，我们进一步提出了卷积泊松伽马信念网络（CPGBN），通过一个新的概率池层将CPFA与伽马信念网络耦合起来。CPFA将单词形成短语，并捕获非常具体的短语级主题，CPGBN进一步构建了越来越通用的短语级主题的层次结构。为了有效的推理，我们开发了一个吉布斯采样器和一个基于韦布尔分布的卷积变分自动编码器。实验结果表明，CPGBN可以提取高质量的文本潜在表示，捕捉词序信息，因此可以作为一个构建块，以丰富各种现有的潜在变量模型，忽略词序。
2019-05-14 cs.LG stat.AP stat.CO
Syntactic Topic Models
Princeton University（普林斯顿大学）
句法主题模型（STM）是一种贝叶斯非参数语言模型，它发现了语义和句法一致的词（主题）的潜在分布。STM模型依赖性解析语料库中的句子被分组到文档。它假设每个词都是从一个潜在的主题中提取出来的，该主题是通过结合文档级特征和本地句法上下文来选择的。每个文档都有一个潜在主题的分布，就像主题模型一样，它提供了语义的一致性。依赖关系解析树中的每个元素在其子元素的主题上也有一个分布，就像在潜在状态语法模型中一样，这提供了语法一致性。这些分布被卷积，使得每个词的主题在其文档和句法上下文下都是可能的。本文基于变分方法推导出一种快速后验推理算法。我们报告定性和定量研究的合成数据和手解析的文件。我们表明，STM是一个更预测的语言模型比目前的模型只基于语法或主题。
2010-02-25 cs.AI cs.CL math.ST
KSU KDD: Word Sense Induction by Clustering in Topic Space
Kansas State University（堪萨斯州立大学）
我们描述了我们的独立于语言的无监督词义归纳系统。该系统仅使用主题特征在其全局上下文主题空间中对不同的词义进行聚类。该系统使用未标记的数据训练潜在狄利克雷分配（LDA）主题模型，然后使用它来推断测试实例的主题分布。通过聚类这些主题分布在他们的主题空间，我们聚类到不同的意义。我们的假设是，主题空间的接近程度反映了不同词义之间的相似性。该系统参与了SemEval-2词义归纳和消歧任务，并在所有其他系统中获得了第二高的V-measure得分。
2013-02-28 cs.AI cs.CL stat.AP
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix（Stitch Fix公司）
分布式密集词向量已被证明是有效的，在捕捉语言中的标记级语义和句法的语义，而主题模型可以形成可解释的表示在文档。在这项工作中，我们描述了lda2vec，一个模型，学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反，该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架，并允许无监督的文档表示面向科学家使用，同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
Deep Generative Model for Joint Alignment and Word Representation
Institute for Logic, Language, and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
这项工作利用翻译数据作为源的语义相关的学习信号模型的单词表示。特别是，我们通过翻译作为分布式上下文的一种形式来利用等价性，并共同学习如何嵌入并与深度生成模型保持一致。我们的EmbedAlign模型将单词嵌入到完整的观察上下文中，并通过潜在词汇对齐的边缘化来学习。此外，它将单词嵌入后验概率密度，而不是点估计，这允许我们使用分布之间的重叠度量（例如KL发散）来比较上下文中的单词。我们调查我们的模型的性能上的一系列词汇语义任务，实现竞争力的结果，包括自然语言推理，释义和文本相似性的几个标准的基准。
2018-04-23 cs.AI cs.CL
What the Vec? Towards Probabilistically Grounded Embeddings
University of Edinburgh（爱丁堡大学）；Samsung AI Centre（三星人工智能中心）
Word2Vec（W2V）和GloVe是流行的、快速且有效的词嵌入算法。它们的嵌入被广泛使用，并在各种自然语言处理任务中表现良好。此外，W2V最近已被用于图嵌入领域，它支持几种领先的算法。然而，尽管它们普遍存在且模型架构相对简单，但对W2V和GloVe的嵌入参数学习了什么以及为什么在下游任务中有用的理论理解一直缺乏。我们发现，PMI向量之间的不同的相互作用反映了语义词的关系，如相似性和释义，编码在低维词嵌入下一个合适的投影，从理论上解释为什么嵌入的W2V和GloVe的工作。因此，我们也揭示了一个有趣的数学之间的相互联系所考虑的语义关系本身。
2019-11-11 cs.CL cs.LG stat.ML
Searching for Discriminative Words in Multidimensional Continuous Feature Space
Slovak University of Technology in Bratislava（布拉迪斯拉发斯洛伐克工业大学）；Faculty of Informatics and Information Technologies（信息与信息技术学院）
单词特征向量已被证明可以改善许多NLP任务。随着这些特征向量的无监督学习的最新进展，可以用更多的数据来训练它，这也导致了更好的学习特征质量。由于它学习单词潜在特征的联合概率，因此它的优点是我们可以训练它，而无需任何关于我们想要解决的目标任务的先验知识。我们的目标是评估特征向量的普遍适用性，这已经被证明适用于许多标准的NLP任务，如词性标注或句法分析。在我们的例子中，我们希望了解文本文档的主题焦点，并设计一个有效的表示适合区分不同的主题。在文本分类任务中，可以充分评估区分度。我们提出了一种新的方法来提取判别关键字的文件。我们利用词的特征向量来更好地理解词之间的关系，也理解文本中讨论的潜在主题，而不是直接提到，但逻辑推理。我们还提出了一种简单的方法来计算文档特征向量提取的歧视性的话。我们在四个最流行的文本分类数据集上评估了我们的方法。我们展示了不同的判别指标如何影响整体结果。我们证明了我们的方法的有效性，通过实现国家的最先进的文本分类任务的结果，只使用少量的提取的关键字。我们证明了词特征向量可以大大提高文档意义的主题推理。我们的结论是，分布式表示的话，可以用来建立更高层次的抽象，我们证明和建立文档的特征向量。
2022-11-26 cs.AI cs.CL cs.IR
Deconstructing and reconstructing word embedding algorithms
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
非语境化的词嵌入是词的可靠特征表示，用于获得各种NLP应用的高质量结果。鉴于词嵌入在NLP中的历史成功，我们提出了一些最知名的词嵌入算法的回顾。在这项工作中，我们解构Word 2 vec，GloVe，和其他人，到一个共同的形式，揭示了一些必要和充分的条件所需的性能词嵌入。我们发现每个算法：（1）拟合向量-共向量点积以近似逐点互信息（PMI）;以及（2）调制损失梯度以平衡弱信号和强信号。我们证明，这两个算法的功能是足够的条件，以构建一个新的词嵌入算法，希尔伯特-最大似然估计。我们发现，它的嵌入在17个内在和外在数据集上获得了与其他算法相当或更好的性能。
2019-11-29 cs.CL cs.LG
Asymmetric latent semantic indexing for gene expression experiments visualization
我们提出了一种新的方法来可视化基因表达实验的启发，潜在的语义索引，技术最初提出的文本分析上下文中。通过使用对应词-基因文档-实验，我们定义了一个非对称的相似性度量的关联基因，占潜在的层次结构的数据，关键是获得有意义的基因映射。我们使用极分解，以获得的相似性矩阵的不对称性的来源，这是后来结合以前的知识。基因的遗传类的基因识别的混合模型应用于基因的潜在空间。我们描述了该过程的步骤，并展示了其在人类癌症数据集中的实用性。
2015-04-07 stat.AP
Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近的研究表明，在人工生成的语料库上训练的词嵌入在嵌入空间中具有很强的性别偏见，这些偏见可能导致各种下游任务的区分结果。鉴于以前的方法项目的词嵌入到一个线性子空间去偏置，我们介绍了一个\textit{Latent Disentanglement}方法与连体自动编码器结构与自适应梯度反转层。我们的结构使语义潜在信息和性别潜在信息的给定的词分离到不相交的潜在维度。然后，引入一个\textit{Counterfactual Generation}对词的性别信息进行转换，使得原嵌入和修改后的嵌入在几何对齐正则化后，能够产生一个性别中立的词嵌入，而不会丢失语义信息。从各种定量和定性的去偏置实验，我们的方法比现有的去偏置方法在去偏置词嵌入。此外，我们的方法显示了在去偏置过程中通过最小化外部NLP下游任务的语义信息损失来保留语义信息的能力。
2020-11-03 cs.CL cs.LG stat.ML
Neural graph embeddings as explicit low-rank matrix factorization for link prediction
Institute of Artificial Intelligence, Medical University of Vienna（维也纳医科大学人工智能研究所）
学习高质量的神经图嵌入一直是通过最小化模拟随机游动中同现节点的逐点互信息（PMI）来实现的。这种设计选择主要是通过直接应用非常成功的词嵌入算法word2vec来预测社交网络、共同引用网络和生物网络中新链接的形成而推广的。然而，这种拟态设计的图嵌入方法需要截断来自具有低PMI的节点对的信息。为了避免这个问题，我们提出了一种改进的方法来学习低秩分解嵌入，将信息从这样的不太可能的节点对，并表明它可以提高链接预测性能的基线方法从1.2%到24.2%。根据我们的结果和观察，我们概述了进一步的步骤，可以改善设计的下一个图嵌入算法的基础上矩阵分解。
2022-08-25 cs.AI cs.LG cs.NA
Improving Chinese Segmentation-free Word Embedding With Unsupervised Association Measure
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Shanghai Advanced Research Institute（上海高等研究院）；Shanghai Carbon Data Research Center（上海碳数据研究中心）；Centre for Excellence in Brain Science and Intelligence Technology（脑科学与智能技术卓越创新中心）
最近关于无分割词嵌入（sembei）的工作为未分割的语言开发了一种新的词嵌入管道，同时避免了作为预处理步骤的分割。然而，在嵌入词汇表中存在太多的噪声n-gram，这些噪声n-gram在字符之间不具有强的关联强度，这将限制学习的词嵌入的质量。针对这一问题，提出了一种新的无分割词嵌入模型，该模型通过一种新的无监督关联测度--带时间信息的逐点关联（PATI）来收集n-gram词汇。与常用的n-gram过滤方法（如sembei中使用的频率和逐点互信息（PMI））相比，该方法利用了语料库中更多的潜在信息，从而能够在未分割的语言数据（如中文文本）中收集更多具有更强凝聚力的有效n-gram作为嵌入目标。在中文SNS数据上的进一步实验表明，该模型提高了下游任务中词嵌入的性能。
2020-07-05 cs.CL cs.LG
Learning Geometric Word Meta-Embeddings
Microsoft India（微软印度）
我们提出了一个几何框架学习元嵌入的话从不同的嵌入源。我们的框架将嵌入转换为一个共同的潜在空间，例如，简单的平均不同的嵌入（一个给定的词）是更顺从的。所提出的潜在空间产生于两个特定的几何变换-正交旋转和马氏度量缩放。几个词相似度和词类比基准的实证结果说明了所提出的框架的有效性。
2020-04-20 cs.CL cs.LG stat.ML
Embedding Compression with Isotropic Iterative Quantization
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Northeastern University（东北大学）；Syracuse University（雪城大学）；Rutgers University（罗格斯大学）
单词的连续表示是基于深度学习的NLP模型中的标准组件。然而，表示大的词汇表需要大量的内存，这可能会导致问题，特别是在资源受限的平台上。因此，在本文中，我们提出了一个各向同性迭代量化（IIQ）的方法压缩嵌入向量到二进制的，利用迭代量化技术建立图像检索，同时满足所需的各向同性属性的PMI为基础的模型。使用预先训练的嵌入的实验（即，GloVe和HDC）展示了超过三十倍的压缩比，与原始实值嵌入向量相比具有相当的性能，有时甚至是改进的性能。
2020-01-23 cs.CL cs.LG stat.ML
Paraphrase Generation with Latent Bag of Words
Columbia University（哥伦比亚大学）；Peking University（北京大学）
释义生成是自然语言处理中一个长期存在的重要问题。此外，深度生成模型的最新进展显示了文本生成的离散潜变量的前景。受具有离散潜在结构的变分自编码器的启发，本文提出了一种用于释义生成的潜在词袋模型。我们从目标句子的BOW基础的离散的潜在变量的语义。我们使用这个潜在变量来构建一个完全可区分的内容规划和表面实现模型。具体来说，我们使用源单词来预测它们的邻居，并使用softmax的混合模型对目标BOW进行建模。我们使用Gumbel top-k重新参数化从预测的BOW分布中进行可微子集采样。我们检索采样的词嵌入，并使用它们来增强解码器，并指导其生成搜索空间。我们的潜在BOW模型不仅增强了解码器，而且还表现出清晰的可解释性。我们展示了关于词邻居\emph{(ii)}的逐步生成过程的\emph{(i)}无监督学习的模型可解释性。大量的实验表明，该模型的生成过程是透明和有效的。\footnote{Our code can be found at \url{https://github.com/FranxYao/dgm_latent_bow}}
2020-01-07 cs.CL cs.LG
Generative latent neural models for automatic word alignment
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LIMSI（法国信息与自动化研究所）
单词对齐识别平行句子对中的单词之间的翻译对应，并且例如用于学习双语词典、训练统计机器翻译系统或执行质量估计。变分自编码器最近已经被用于各种自然语言处理中，以无监督的方式学习对语言生成任务有用的潜在表示。在本文中，我们研究这些模型的任务字对齐，并提出和评估几个演变的香草变分自编码器。我们证明，这些技术可以产生竞争力的结果相比，吉萨++和强大的神经网络对齐系统的两种语言对。
2020-09-28 cs.CL cs.LG
Learning Multilingual Word Embeddings in Latent Metric Space: A Geometric Approach
Microsoft（微软）；IIT Madras（印度理工学院马德拉斯分校）
我们提出了一种新的几何方法学习双语映射单语嵌入和双语字典。我们的方法将学习从源语言到目标语言的转换分为（a）学习特定语言嵌入的旋转以将它们对齐到公共空间，以及（b）学习公共空间中的相似性度量以模拟嵌入之间的相似性。我们将双语映射问题建模为光滑黎曼流形上的优化问题。我们表明，我们的方法优于以前的方法在双语词汇归纳和跨语言词相似性任务。我们还概括了我们的框架，以表示在一个共同的潜在空间的多种语言。特别是，几种语言的潜在空间表示联合学习，给出多语言对的双语词典。我们说明了联合学习的有效性，为多种语言在zero-shot单词翻译设置。我们的实现可以在https://github.com/anoopkunchukuttan/geomm上获得。
2018-12-18 cs.AI cs.CL cs.LG
A Generative Word Embedding Model and its Low Rank Positive Semidefinite Solution
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)（南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心（LILY））；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
现有的大多数词嵌入方法可以分为神经嵌入模型和基于矩阵分解（MF）的方法。然而，一些模型是不透明的概率解释，和MF为基础的方法，通常使用奇异值分解（SVD）解决，可能会导致语料库信息的损失。此外，期望将诸如主题、情感或写作风格的全局潜在因素并入到词嵌入模型中。由于生成模型提供了一个原则性的方式来纳入潜在的因素，我们提出了一个生成的词嵌入模型，这是很容易解释，并可以作为更复杂的潜在因素模型的基础。模型推理归结为一个低秩加权半正定逼近问题。其优化方法是通过对子矩阵进行特征分解，然后进行在线分块回归，这是可扩展的，避免了SVD中的信息丢失。在7个常见的基准数据集上的实验中，我们的向量与word2vec竞争，并且优于其他基于MF的方法。
2015-08-16 cs.CL cs.LG stat.ML
Gaussian Hierarchical Latent Dirichlet Allocation: Bringing Polysemy Back
Graduate School of Information Science and Technology（信息科学技术研究生院）；The University of Tokyo（东京大学）
针对高斯潜在狄利克雷分配无法捕捉一词多义的问题，本文提出高斯分层LDA，通过主题分层结构恢复多义建模能力，并提升主题一致性、预测准确率与表示简约性。
2023-06-07 cs.LG stat.ML
A Latent Variable Recurrent Neural Network for Discourse Relation Language Models
Georgia Institute of Technology（佐治亚理工学院）；Monash University（莫纳什大学）
本文提出了一种新的潜变量循环神经网络结构，用于联合建模单词序列和相邻句子之间的（可能是潜在的）话语关系。循环神经网络生成单个单词，从而获得区分性训练的向量表示的好处。语篇关系是用一个潜在变量来表示的，根据任务的不同，这个变量可以被预测或边缘化。因此，所得到的模型可以采用一个训练目标，不仅包括话语关系分类，但也词预测。因此，它优于国家的最先进的替代品的两个任务：隐含的话语关系分类在宾夕法尼亚州话语树库，和对话行为分类在交换机语料库。此外，通过在测试时边缘化潜在的话语关系，我们获得了一个话语信息的语言模型，它在强大的LSTM基线上有所改进。
2016-04-05 cs.CL cs.LG cs.NE
Enhancing Domain Word Embedding via Latent Semantic Imputation
New Jersey Institute of Technology（新泽西理工学院）；Stony Brook University（石溪大学）
本文提出了一种新的方法潜在语义填补（LSI），将外部知识转移到语义空间，以增强词嵌入。该方法结合图论来提取实体在亲和空间中的潜在流形结构，并利用标准单纯形约束的非负最小二乘和幂迭代方法来获得谱嵌入。它提供了一个有效的和高效的方法来组合实体表示定义在不同的欧几里德空间。具体来说，我们的方法生成并估算可靠的嵌入向量的低频词在语义空间和利益的下游语言任务，依赖于词嵌入。我们进行了全面的实验，精心设计的分类问题和语言建模，并证明了通过LSI的增强嵌入的优越性超过几个著名的基准嵌入。我们还证实了我们的方法在不同参数设置下的结果的一致性。
2019-05-21 cs.IR cs.LG stat.ML
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新的文档生成过程的基础上，层次潜在树模型（HLTM）从数据中学习。HLTM在底部有一层观察到的单词变量，在顶部有多层潜变量。对于每一个文档，我们首先通过逻辑采样逐层采样潜变量的值，然后根据潜变量的值绘制单词的相对频率，最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比，新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
GLOSS: Generative Latent Optimization of Sentence Representations
EPFL（洛桑联邦理工学院）；Facebook AI Research（Facebook人工智能研究部）；LORIA（洛里亚实验室）
我们提出了一种方法来学习无监督的句子表示在一个非合成的方式的基础上生成潜在优化。我们的方法不强加任何假设的话是如何组合成一个句子表示。我们讨论了一个简单的词袋模型以及一个模型单词位置的变体。两者都经过训练，可以根据潜在代码重建句子，我们的模型可以用于生成文本。实验表明，相关的段落向量有很大的改进。与uSIF相比，当在相同的数据上训练时，我们实现了5%的相对提高，并且我们的方法在少30倍的数据上训练时与Sent2vec竞争。
2019-07-15 cs.CL cs.LG
Interpreting Knowledge Graph Relation Representation from Word Embeddings
University of Edinburgh（爱丁堡大学）
许多模型通过利用知识图谱数据的低秩潜在结构、编码实体之间的已知关系并使未知事实能够被推断来学习其表示。为了预测实体之间的关系是否成立，通常在关系特定映射之后在潜在空间中比较嵌入。虽然它们的预测性能稳步提高，但这些模型如何捕捉语义信息的潜在结构仍然无法解释。最近的理论理解的词嵌入的基础上，我们将知识图谱关系分为三种类型，并为每一个明确的要求，他们的表示。我们的分析证明了关系表示的经验性质和领先的知识图谱表示方法的相对性能。
2021-01-18 cs.LG stat.ML
Human-Level Performance on Word Analogy Questions by Latent Relational Analysis
本文介绍了潜在关系分析（LRA），一种测量关系相似性的方法。LRA在信息抽取、词义消歧、机器翻译、信息检索等领域有着广泛的应用前景。关系相似性是关系之间的对应关系，而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时，我们称之为同义词。当两对词具有高度的关系相似性时，我们说它们的关系是相似的。例如，mason/stone这个词对就类似于carpenter/wood这个词对。过去的工作语义相似性的措施，主要是关注属性相似性。最近的向量空间模型（VSM）的信息检索已被改编为测量关系相似性的任务，实现了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中，一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法：（1）模式是从语料库中自动导出的（它们不是预定义的），（2）奇异值分解（SVD）用于平滑频率数据（在潜在语义分析中也以这种方式使用），以及（3）自动生成的同义词用于探索词对的重新表达。LRA在374个类比问题上的得分为56%，在统计学上相当于人类的平均得分57%。在分类名词修饰语关系的相关问题上，LRA在使用较小的语料库的同时实现了与VSM相似的增益。
2004-12-06 cs.CL cs.IR cs.LG
Interpretable Word Embeddings via Informative Priors
Linköping University（林雪平大学）；Aalto University（阿尔托大学）
词嵌入在NLP任务中表现出了强大的性能。然而，词嵌入缺乏可解释性和无监督的性质限制了它们在计算社会科学和数字人文科学中的使用。我们建议使用信息先验知识来创建概率词嵌入的可解释和域信息维度。实验结果表明，合理的先验知识可以捕捉潜在的语义概念比或与当前的最先进的水平，同时保留使用先验知识的简单性和概括性。
2019-09-03 cs.CL cs.LG stat.ML
