SemGloVe: Semantic Co-occurrences for GloVe from BERT
Zhejiang University（浙江大学）；Westlake University（西湖大学）；University of Technology Sydney（悉尼科技大学）
GloVe通过利用来自单词共现矩阵的统计信息来学习词嵌入。然而，矩阵中的词对是从预定义的本地上下文窗口中提取的，这可能导致有限的词对和潜在的语义不相关的词对。在本文中，我们提出了SemGloVe，提取语义同现从BERT到静态GloVe词嵌入。特别是，我们提出了两个模型来提取共现统计的基础上，无论是掩蔽语言模型或BERT的多头注意力权重。我们的方法可以提取词对，而不受限制的局部窗口假设，并可以定义共现权重直接考虑词对之间的语义距离。在几个词相似度数据集和四个外部任务上的实验表明，SemGloVe的性能优于GloVe。
2021-11-24 cs.AI cs.CL
Latent Semantic Word Sense Disambiguation Using Global Co-occurrence Information
Ibaraki University（茨城大学）
本文提出了一种基于NMF的全局共现信息的词义消歧方法。当我计算依赖关系矩阵时，现有的方法倾向于从一个小的训练集产生非常稀疏的共生矩阵。因此，NMF算法有时不会收敛到期望的解。为了获得大量的共现关系，我建议使用整个训练集中词特征之间依赖关系的共现频率。这使我们能够解决数据稀疏问题，并诱导出更有效的潜在特征。为了评估词义消歧方法的效率，本文通过实验对两种基线方法的结果进行了比较。实验结果表明，该方法对词义消歧是有效的。此外，所提出的方法是有效的，通过分析全局共现信息获得稳定的效果。
2014-03-05 cs.CL cs.IR
UMDuluth-CS8761 at SemEval-2018 Task 9: Hypernym Discovery using Hearst Patterns, Co-occurrence frequencies and Word Embeddings
Department of Computer Science（计算机科学系）；University of Minnesota（明尼苏达大学）；Duluth, MN 55812 USA（美国明尼苏达州德卢斯（地址信息，非机构））
上位词发现是识别给定术语的潜在上位词的任务。上位词是一个更广义的词，它位于更具体的词的上位。本文探讨了几种依赖于词对共现频率、基于正则表达式的赫斯特模式和从UMBC语料库创建的词嵌入的方法。我们的系统巴贝奇参加了英语的子任务1A，在识别概念上位词时，在19个系统中排名第6，在识别实体上位词时，在18个系统中排名第12。
2018-05-25 cs.CL
Word-Graph2vec: An efficient word embedding approach on word co-occurrence graph using random walk technique
Shenzhen Technology University（深圳技术大学）；Shenzhen Institute of Translational Medicine, Shenzhen Second People’s Hospital, The First Affiliated Hospital of Shenzhen University（深圳转化医学研究院，深圳市第二人民医院，深圳大学第一附属医院）
本文提出Word-Graph2vec，一种基于词共现图和随机游走的词嵌入方法，将大语料转为图并采样训练，效率比Word2vec快4-5倍、比FastText快2-3倍，且误差小。
2023-12-20 cs.CL
Co-occurrence Vectors from Corpora vs. Distance Vectors from Dictionaries
比较了从大型文本语料库中使用普通共现统计得到的向量和通过测量词典定义中的词间距离得到的向量。使用1987年《华尔街日报》的共现向量（2000万总词）进行词义消歧的精度高于使用柯林斯英语词典的距离向量（60K中心词+1.6M定义词）。然而，其他的实验结果表明，距离向量包含一些不同的语义信息从同现向量。
1995-04-01 cmp-lg cs.CL
ViCo: Word Embeddings from Visual Co-occurrences
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们建议从视觉同现中学习词嵌入。如果两个词应用于相同的图像或图像区域，则两个词在视觉上共同出现。具体来说，我们从VisualGenome和ImageNet等大规模文本注释的视觉数据库中提取了对象和属性词之间的四种视觉同现。然后，我们训练一个多任务日志双线性模型，压缩编码词的“含义”表示的每个共现类型到一个单一的视觉词向量。通过无监督聚类，监督分区，和一个zero-shot样的泛化分析，我们表明，我们的词嵌入补充纯文本嵌入，如GloVe更好地代表视觉概念之间的相似性和差异，很难单独从文本语料库。我们进一步评估了五个下游应用程序的嵌入，其中四个是视觉语言任务。使用我们的嵌入增强GloVe可以在所有任务上获得收益。我们还发现，随机嵌入在所有有监督的视觉语言任务中执行学习嵌入，这与传统观点相反。
2019-08-22 cs.CL cs.CV
Lexical Co-occurrence, Statistical Significance, and Word Association
IIT Bombay（印度理工学院孟买分校）；Microsoft Research India（微软印度研究院）
词汇同现是检测词汇联想的重要线索。我们提出了一个理论框架，发现统计上显着的词汇共现从一个给定的语料库。与普遍的做法给予权重的unigram频率相比，我们只关注包含两个术语（候选bigram）的文档。我们检测的相关词的跨度分布的偏见，而不可知的全球单字频率的变化。我们的框架具有保真度，区分不同类别的词汇同现，根据强度的文件和语料库水平的线索的同现数据。我们在基准数据集上进行了大量的实验，以研究目前文献中已知的各种同现措施的性能。我们发现，一个相对模糊的措施称为Ochiai，和一个新推出的措施CSA捕获词汇共现的概念最好的，其次是LLR，骰子，和TTest，而另一个流行的措施，PMI，令人惊讶的是，表现不佳的上下文中的词汇共现。
2010-08-31 cs.CL cs.IR
Sentiment and structure in word co-occurrence networks on Twitter
Computational Story Lab（计算故事实验室）；Vermont Complex Systems Center（佛蒙特复杂系统中心）；MassMutual Center of Excellence for Complex Systems and Data Science（麻省互惠复杂系统与数据科学卓越中心）；Vermont Advanced Computing Core（佛蒙特高级计算核心）；University of Vermont（佛蒙特大学）；Advanced Bioimaging Center（高级生物成像中心）；UC Berkeley（加州大学伯克利分校）
我们使用词共现网络探索政治推文中的上下文和幸福分数之间的关系，其中网络中的节点是词，边的权重是语料库中两个连接的词共现的推文的数量。特别是，我们考虑了带有#imwithher和#crookedhillary标签的推文，这两个标签都与希拉里·克林顿2016年的总统竞选有关。然后，我们分析了网络的属性与词的分数通过比较与空模型分离的网络结构和分数分布的影响。中性词占主导地位，大多数词，无论极性，往往与中性词共现。我们没有观察到任何积极和消极的词之间的分数同质性。然而，当我们进行网络主干时，社区发现会产生具有有意义叙述的单词分组，并且每个组中单词的幸福分数对应于其各自的主题。因此，虽然我们没有观察到明确的幸福分数和同现之间的关系，在节点或边缘水平，以社区为中心的方法可以隔离的主题，在语料库中的竞争情绪。
2021-10-01 cs.CL cs.CY cs.SI
Filling Missing Paths: Modeling Co-occurrences of Word Pairs and Dependency Paths for Recognizing Lexical Semantic Relations
The University of Tokyo（东京大学）
识别词对之间的词汇语义关系是自然语言处理许多应用中的一项重要任务。其中一个主流的方法是利用连接两个目标词的词汇-句法路径，这些路径反映了词对之间的语义关系。然而，这种方法要求所考虑的单词在句子中共同出现。这一要求很难满足，因为齐普夫定律指出，大多数实义词很少出现。在本文中，我们提出了新的方法与$P(path|w_1, w_2)$的神经模型来解决这个问题。我们提出的$P(path|w_1, w_2)$模型可以以无监督的方式学习，并且可以概括词对和依赖路径的共现。该模型可以用来扩充语料库中不共现的词对的路径数据，并从词对中提取捕捉关系信息的特征。我们的实验结果表明，我们的方法改进了以前的神经方法的依赖路径，并成功地解决了集中的问题。
2018-09-10 cs.CL
Unsupervised Measure of Word Similarity: How to Outperform Co-occurrence and Vector Cosine in VSMs
The Hong Kong Polytechnic University（香港理工大学）；University of Pisa（比萨大学）
在本文中，我们声称，向量余弦，这通常被认为是最有效的无监督措施，用于识别词的相似性在向量空间模型，可以优于一个无监督的措施，计算的交集之间的程度最相互依赖的上下文的目标词。为了证明这一点，我们描述并评估了APSyn，这是平均精度的一个变体，在没有任何优化的情况下，它在标准ESL测试集上的表现优于向量余弦和同现，其改进范围在+9.00%到+17.98%之间，具体取决于所选择的顶级上下文的数量。
2016-03-30 cs.CL
Topic model based on co-occurrence word networks for unbalanced short text datasets
Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia（智能电信软件与多媒体北京重点实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对不平衡短文本数据集稀缺主题检测问题，提出CWUTM方法，利用共现词网络捕捉主题分布，重新定义计算增强稀缺主题识别敏感性，采用吉布斯采样，实验验证其在发现稀缺主题上优于基线方法，能有效检测社交平台相关主题。
2026-07-13 cs.CL
Controlled Experiments for Word Embeddings
Lateral GmbH（Lateral有限公司）；NNLP
提出了一种研究词嵌入性质的实验方法。通过修改训练语料库实现的对照实验可以证明词属性与词向量方向和长度之间的直接关系。该方法被证明使用word2vec CBOW模型与实验，独立地改变词频和词同现噪声。实验结果表明，词向量长度或多或少线性依赖于词频和噪声水平的同现分布的话。线性系数取决于单词。特征空间中的特殊点，定义的（人工）字与纯噪声在其共生分布，被发现是小的，但非零。
2015-12-14 cs.CL
Improving Pointwise Mutual Information (PMI) by Incorporating Significant Co-occurrence
IIT Bombay（印度理工学院孟买分校(IIT Bombay)）
我们设计了一个新的共现为基础的词关联措施，将显着的共现的概念，在流行的词关联措施逐点互信息（PMI）。通过大量公开数据集的广泛实验，我们表明，新引入的措施比其他共现为基础的措施，尽管是资源轻，以及与最知名的资源重分布相似性和知识为基础的词关联措施相比，表现更好。我们调查这种性能提高的来源，发现两种类型的显着的共现语料库级和文档级，语料库级的意义的概念结合使用的文档计数代替字数是负责所有的性能增益观察。文档级重要性的概念对PMI适应没有帮助。
2013-07-02 cs.CL
Word Sense Disambiguation by Web Mining for Word Co-occurrence Probabilities
本文介绍了美国国家研究委员会（NRC）的词义消歧（WSD）系统，适用于英语词汇样本（ELS）的任务在Senseval-3。NRC系统将WSD作为一个经典的监督机器学习问题，使用熟悉的工具，如Weka机器学习软件和Brill的基于规则的词性标注器。中心词被表示为具有数百个特征的特征向量。大约一半的特征是句法的，另一半是语义的。该系统的主要新颖之处在于基于单词\hbox{co-occurrence}概率生成语义特征的方法。概率估计使用滑铁卢多文本系统与语料库的约一TB的未标记的文本，收集的网络爬虫。
2004-07-29 cs.CL cs.IR cs.LG
Modeling Semantic Relatedness using Global Relation Vectors
Cardiff University（卡迪夫大学）
诸如GloVe之类的词嵌入模型依赖于来自大型语料库的共现统计来学习词义的向量表示。这些向量已被证明可以捕获令人惊讶的细粒度语义和语法信息。虽然我们可以类似地期望共现统计可以用于捕获关于不同单词之间关系的丰富信息，但是用于对这种关系进行建模的现有方法主要依赖于操纵预先训练的单词向量。在本文中，我们介绍了一种新的方法，直接学习关系向量的同现统计。为此，我们首先介绍GloVe的一个变体，其中单词向量和PMI加权同现向量之间存在显式连接。然后，我们将展示如何将关系向量自然地嵌入到所得到的向量空间中。
2017-11-14 cs.CL
Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence
Johns Hopkins University（约翰霍普金斯大学）；EPFL（苏黎世联邦理工学院）
本文提出一种分布理论，证明语言表示中的上下义关系几何结构源于词汇共现的谱结构，并在word2vec和Gemma 2B嵌入中得到验证。
2026-05-22 cs.CL cs.LG
Co-occurrences using Fasttext embeddings for word similarity tasks in Urdu
NUCES (FAST)（国家科技大学（FAST））；AIM Lab（AIM实验室）
乌尔都语是南亚广泛使用的语言。尽管乌尔都语存在大量文献，但数据仍然不足以通过NLP技术自然地处理语言。英语是一种高资源语言，但乌尔都语和其他资源不足的语言长期以来一直被忽视，因此存在非常有效的语言模型。为了为这些语言创建有效的语言模型，我们必须有好的词嵌入模型。对于乌尔都语，我们只能找到使用skip-gram模型训练和开发的词嵌入。在本文中，我们已经建立了一个语料库乌尔都语通过刮和整合数据从各种来源和编制乌尔都语词汇。我们还修改了快速文本嵌入和N-Gram模型，以便在我们构建的语料库上训练它们。我们使用这些训练的嵌入进行单词相似性任务，并将结果与现有技术进行比较。
2021-02-22 cs.CL
Preliminary Report on the Structure of Croatian Linguistic Co-occurrence Networks
University of Rijeka（里耶卡大学）
在这篇文章中，我们研究了克罗地亚语言共现网络的结构。我们通过系统地改变共现窗口大小、语料库大小和去除停用词来研究网络结构属性的变化。在大小为$n$的共现窗口中，我们在当前单词和$n-1$后续单词之间建立链接。结果表明，随着共生窗口尺寸的增大，共生窗口直径减小，平均路径缩短，平均聚类系数减小。同样可以注意到停止词的删除。最后，由于文本的大小反映在网络属性中，我们的研究结果表明，语料库的影响可以通过增加共现窗口大小来减少。
2014-05-17 cs.CL cs.SI physics.soc-ph
Improving Sparse Word Representations with Distributional Inference for Semantic Composition
University of Sussex（苏塞克斯大学）
分布模型来自语料库中的同现，其中只有一小部分可能的合理同现将被观察到。这导致非常稀疏的向量空间，需要用于推断缺失知识的机制。大多数方法都面临着这一挑战，使得最终的单词表示无法解释，其结果是语义组合变得难以建模。在本文中，我们探讨了一种替代方案，涉及明确推断未观察到的同现使用的分布邻域。我们发现，分布推理提高了稀疏词表示在几个词相似性基准，并证明我们的模型是有竞争力的形容词-名词，名词-名词和动词-对象组成的最先进的，同时是完全可解释的。
2016-08-24 cs.CL
Word Clustering and Disambiguation Based on Co-occurrence Data
我们解决的问题，聚类词（或构建词库）的基础上共现数据，并使用所获得的词类，以提高句法消歧的准确性。我们认为这个问题的估计联合概率分布指定的联合概率的词对，如名词动词对。我们提出了一个有效的算法的基础上的最小描述长度（MDL）的原则，估计这样的概率分布。我们的方法是一个自然的扩展（布朗等人92）和（李和安倍96），并克服了他们的缺点，同时保留他们的优点。然后，我们结合这种聚类方法与消歧方法（李和安倍95），得到一个消歧方法，利用自动构建的词库和手工制作的词库。通过我们的方法实现的整体消歧准确率为85.2%，这与通过最先进的消歧方法（Brill & Resnik 94）获得的准确率（82.4%）相比是有利的。
1998-07-17 cmp-lg cs.CL
Learning Features from Co-occurrences: A Theoretical Analysis
IBM T. J. Watson Research Center（IBM T. J. Watson 研究中心）
通过词在上下文中与其他词的共现来表示词是获取词的意义的一种有效方法。然而，背后的理论仍然是一个挑战。本文以词分类为例，对用函数f（P（C）表示词X的方法进行了理论分析|其中C是上下文特征，P（C| X）是从文本语料库估计的条件概率，并且函数f将共现度量映射到预测分数。我们研究了上下文特征C和函数f的影响。我们还解释了为什么使用多个上下文特征的同现可能比只使用单个上下文特征更好的原因。此外，一些结果揭示了一般的特征学习和机器学习的理论。
2017-07-13 cs.CL cs.LG math.ST
Unsupervised Multimodal Word Discovery based on Double Articulation Analysis with Co-occurrence cues
Ritsumeikan University（立命馆大学）
本文提出融合 NPB-DAA 与 MLDA 的全无监督多模态方法，利用音系分布及视觉、触觉、听觉共现线索从语音中发现词语和音素，实验证明其词汇发现与切分性能优于基线。
2023-08-21 cs.AI cs.CL cs.RO
Text authorship identified using the dynamics of word co-occurrence networks
University of São Paulo（圣保罗大学）
在有争议的文件中确定作者身份仍然需要人类的专门知识，但由于实际应用中文本和作者数量庞大，这对于许多任务来说是不可行的。在这项研究中，我们介绍了一种方法的基础上的动态词共现网络代表书面文本分类语料库的80个文本由8位作者。文本被分成具有相同数量的语言标记的部分，从这些部分中为12个拓扑度量创建时间序列。该系列被证明是平稳的（p值>0.05），这允许使用分布矩作为学习属性。使用径向基函数网络优化的监督学习过程，80个文本中有68个被正确分类，即显著的85%的作者匹配成功率。因此，纯动态网络指标的波动被发现表征作者，从而开辟了小的不断发展的网络方面的文本描述的方式。此外，所介绍的方法允许以简单、快速的方式比较具有不同特征的文本。
2016-07-29 cs.CL
Using virtual edges to extract keywords from texts modeled as complex networks
Institute of Mathematics and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学研究所）；Universidade Católica de Brasília（巴西利亚天主教大学）
文本中关键词的检测对于文本挖掘的许多应用都是非常重要的。基于图的方法已被广泛用于自动发现文本中的关键概念，然而，嵌入提供的相关信息还没有被广泛用于丰富图结构。在这里，我们建立了文本共现网络模型，其中节点是单词，边是通过上下文或语义相似性建立的。我们比较了两种嵌入方法--Word 2 vec和BERT --以检查通过词嵌入创建的边缘是否可以提高关键字提取方法的质量。我们发现，实际上，虚拟边的使用可以提高共现网络的可分辨性。当我们考虑添加虚拟（嵌入）边缘的百分比较低时，获得了最佳性能。结构和动态网络指标的比较分析表明，度，PageRank和可访问性是在虚拟边缘丰富的模型中显示最佳性能的指标。
2022-05-04 cs.CL cs.SI
Extracting and Validating Explanatory Word Archipelagoes using Dual Entropy
The University of Tokyo（东京大学）
本文提出利用基于窗口的熵A提取词语群岛，并用基于图的熵B评估文本逻辑连通性，证明无先验知识下提取的解释性文本部分熵更低。
2024-09-28 cs.CL
Variable Word Rate N-grams
单词的出现率并不统一，而是因文件而异。尽管有这种观察，常规的n元语言模型的参数通常使用恒定字率的假设来导出。在本文中，我们研究使用可变字率假设，模拟泊松分布或连续混合泊松。我们提出了一种方法来估计相对频率的话或n-grams考虑到他们的出现先验信息。还考虑了贴现和平滑方案。使用广播新闻任务，该方法表明，减少困惑高达10%。
2000-03-29 cs.CL
Co-Occurrence Patterns in the Voynich Manuscript
《伏尼契手稿》是一本用未知的文字写成的中世纪书籍。本文研究了《伏尼契手稿》中同形词的分布情况。这表明手稿中的单词分布与自然语言不兼容。
2016-02-08 cs.CL cs.CR
LearningWord Embeddings for Low-resource Languages by PU Learning
University of Virginia（弗吉尼亚大学）；University of California Davis（加利福尼亚大学戴维斯分校）；Amazon（亚马逊）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
词嵌入是处理自然语言的许多下游应用中的关键组件。现有的方法通常假设存在大量的文本来学习有效的词嵌入。然而，这样的语料库可能不适用于一些低资源语言。在本文中，我们研究如何有效地学习一个词嵌入模型的语料库只有几百万的令牌。在这种情况下，共现矩阵是稀疏的，因为许多词对的共现是未观察到的。与现有的方法通常只采样几个未观察到的词对作为负样本相比，我们认为，共现矩阵中的零条目也提供了有价值的信息。然后，我们设计了一个积极的无标签学习（PU学习）的方法，因式分解的共生矩阵，并在四种不同的语言验证所提出的方法。
2018-05-09 cs.CL
Analyzing the Representational Geometry of Acoustic Word Embeddings
Saarland University（萨尔大学）；Saarland Informatics Campus（萨尔兰信息学园区）
声学词嵌入（AWE）是一种矢量表示，使得同一个词的不同声学样本在嵌入空间中被投影到附近。除了它们在语音技术应用中的使用，如口语术语发现和关键字定位，AWE模型已被采用作为口语字处理的模型在几个认知动机的研究，并已被证明在一些听觉处理任务中表现出类似人类的性能。然而，AWE的代表性几何形状仍然是一个未被研究的主题，尚未在文献中研究。在本文中，我们采取了更密切的分析看看从英语语音学习AWE和学习目标的选择和架构如何塑造他们的代表性的个人资料。为此，我们采用了一套分析技术，从机器学习和神经科学在三个不同的分析：嵌入空间均匀性，词的可辨别性，和代表性的一致性。我们的主要研究结果突出了突出的作用，学习目标塑造的代表性配置文件相比，模型架构。
2023-01-08 cs.CL
Category Enhanced Word Embedding
The University of Hong Kong（香港大学）；Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
分布式词表示已被证明是有效的，在捕捉语义和句法的错误。来自大型未标记语料库的无监督表示学习可以为呈现相似共现统计的那些单词学习相似的表示。除了局部出现统计之外，全局主题信息也是重要的知识，可以帮助区分一个词。在本文中，我们将文档的类别信息纳入单词表示的学习中，并以文档方式学习所提出的模型。我们的模型在单词类比和单词相似性任务中优于几个最先进的模型。此外，我们评估学习的词向量的情感分析和文本分类任务，这表明我们学习的词向量的优越性。我们还学习了反映主题意义的高质量类别嵌入。
2015-11-30 cs.CL
Matrix Factorization using Window Sampling and Negative Sampling for Improved Word Representations
Institute of Informatics（信息学研究所）；Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）
在本文中，我们提出了LexVec，一种新的方法，用于生成分布式单词表示，使用低秩，加权因式分解的正逐点互信息矩阵通过随机梯度下降，采用加权方案，分配较重的惩罚频繁同现的错误，同时仍然占负同现。对单词相似性和类比任务的评估表明，LexVec在许多这些任务上匹配并经常优于最先进的方法。
2016-06-07 cs.CL
Measuring Societal Biases from Text Corpora with Smoothed First-Order Co-occurrence
Johannes Kepler University（约翰内斯·开普勒大学）；EPFL（洛桑联邦理工学院）；Idiap Research Institute（IDIAP研究所）；TU Wien（维也纳工业大学）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
文本语料库被广泛用于衡量社会偏见和刻板印象。使用语料库来测量这种偏差的常见方法是通过计算词（如护士）的嵌入向量与感兴趣的概念（如性别）的代表词的向量之间的相似性。在这项研究中，我们表明，根据一个人的目的是量化为偏见，这种常用的方法可以引入不相关的概念到偏见的测量。我们提出了一种替代方法，利用平滑的一阶同现关系的词和代表性的概念词，我们通过重建固有的共现估计词嵌入模型。我们比较这些方法进行了几个实验的情况下，测量职业词的性别偏见，根据英文维基百科语料库。我们的实验表明，测量的性别偏见与美国就业市场的实际性别偏见统计数据的相关性更高-在两个集合和各种词嵌入模型上-使用一阶方法与基于向量相似性的方法相比。一阶方法还表明，在一些特定的职业中，女性比其他方法更严重的偏见。
2021-04-27 cs.CL cs.LG stat.ML
Probing the statistical properties of enriched co-occurrence networks
Institute of Mathematics and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学研究所）；Escola Politécnica da Universidade de São Paulo (EPUSP)（圣保罗大学工程学院）
本文研究利用词嵌入添加虚拟边的富集词汇共现网络，评估其区分文本意义及反映句法、语义的统计特性，并为不同文本规模和应用选择网络指标提供依据。
2024-12-03 cs.CL cs.SI
Complex networks based word embeddings
Le Mans Université（勒芒大学）；Université de Nantes（南特大学）
大多数情况下，学习词嵌入的第一步是构建词共现矩阵。由于这些矩阵等价于图，因此复杂网络理论自然可以用来处理这些数据。本文考虑将该领域的主要工具社区发现应用于大规模语料库所对应的共现矩阵。社区结构被用来作为一种方式来减少初始空间的维数。使用这种社区结构，我们提出了一种方法来提取词嵌入，是国家的最先进的方法相媲美。
2019-10-03 cs.CL cs.LG
Co-occurrence of the Benford-like and Zipf Laws Arising from the Texts Representing Human and Artificial Languages
Ariel University（阿里埃勒大学）
我们证明，大型文本，代表人类（英语，俄语，乌克兰语）和人工（C++，Java）语言，显示定量模式的特点是本福德和Zipf定律。遵循齐普夫定律的单词出现的频率与它的等级成反比，而出现在文本中的某个单词的总数会产生前导数字的不均匀分布。排除最流行的单词本质上提高了实际文本数据与齐普菲分布的相关性，而前导数字（由某个单词的总量产生）的本福德分布对相同的排除过程不敏感。人工语言（C++，Java）的双曲线斜率模量的计算值明显大于人类语言的计算值。
2018-03-06 cs.CL physics.soc-ph stat.OT
Integrating Form and Meaning: A Multi-Task Learning Model for Acoustic Word Embeddings
Saarland University（萨尔大学）
声学词嵌入（AWE）模型学习将可变长度的口语词片段映射到固定维度的向量表示上，使得同一个词的不同声学样本在嵌入空间中被投影到附近。除了他们的语音技术应用，AWE模型已经被证明可以预测人类在各种听觉词汇处理任务上的表现。目前的AWE模型是基于神经网络，并在自底向上的方法，整合声学线索，建立一个单词表示给定的声学或符号的监督信号。因此，这些模型在学习过程中不利用或捕获高级词汇知识。在本文中，我们提出了一个多任务学习模型，将自上而下的词汇知识的AWE的训练过程。我们的模型学习声学输入和词汇表示之间的映射，该词汇表示除了自下而上的基于形式的监督之外，还对诸如单词语义之类的高级信息进行编码。我们用三种语言进行了实验，并证明了将词汇知识结合起来可以提高嵌入空间的可辨别性，并鼓励模型更好地分离词汇类别。
2022-09-18 cs.CL eess.AS
Evaluating Neural Word Representations in Tensor-Based Compositional Settings
Queen Mary University of London（伦敦玛丽女王大学）；University of Oxford（牛津大学）
我们提供了一个比较研究神经词表示和传统的向量空间的基础上共现计数，在一些组成的任务。我们使用三种不同的语义空间，并实现了七个基于张量的组合模型，然后我们在涉及动词消歧和句子相似性的任务中进行测试（以及更简单的加法和乘法方法）。为了检查它们的可扩展性，我们还使用简单的合成方法对具有较少约束的语言的大规模任务进行了空间评估：释义检测和对话行为标记。在更受约束的任务中，同现向量是有竞争力的，尽管组合方法的选择很重要;在大规模的任务中，它们被神经词嵌入胜过，神经词嵌入在整个任务中表现出鲁棒、稳定的性能。
2014-08-26 cs.CL
Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI（伦斯勒理工学院）
关键词提取是在文本文档中找到几个有趣的短语的任务，这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是，一个词在文档中可能有不同的表达形式，也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中，我们利用词嵌入作为背景知识来增强基于图的排序模型，以向词间图添加语义信息。我们的方法进行了评估，建立基准数据集和实证结果表明，词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
A New Anchor Word Selection Method for the Separable Topic Discovery
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
可分离非负矩阵分解（SNMF）是一种重要的主题建模方法，其中“可分离”假设每个主题至少包含一个锚词，锚词定义为仅在该主题上具有非零概率的词。SNMF通过锚词选择和话题恢复两个步骤，利用词的共现模式来揭示话题。锚词的质量直接影响主题抽取的质量。现有的锚词选择算法是在高维词共现空间中寻找一个近似的凸包。在这项工作中，我们提出了一种新的方法，通过关联的词同现概率与词的相似性，并假设语义上最不同的词是锚词的潜在候选人的锚词的选择。因此，如果词对的相似度很低，那么这两个词很可能是锚词。根据文本语料库的统计信息，我们可以得到所有词对的相似度。我们建立了词相似度图，其中节点对应于词，边缘上的权重代表词对相似度。按照这种方式，我们设计了一个贪婪的方法来找到一个最小的边权重锚集团的锚字选择图中给定的大小。在真实语料库上的大量实验表明，该方法在主题质量方面优于常用的基于凸包的方法.同时，我们的方法是比典型的SNMF为基础的方法快得多。
2019-05-10 cs.CL cs.IR cs.LG
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology（香港科技大学）；Ant Financial Services Group（蚂蚁金融服务集团）；The Education University of Hong Kong（香港教育大学）
我们提出了一种新的分层主题检测方法，主题是通过多种方式聚类文件。具体来说，我们使用一类称为分层潜在树模型（HLTM）的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量，表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量，最低潜级别的变量表示单词同现模式，较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区，分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式，从而给主题更一般的主题，而那些在低层次的捕获短范围的词共现模式，并给主题更具体的主题。与基于LDA的主题模型不同，HLTM不引用文档生成过程，而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系，这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG
Integrating Lexical Knowledge in Word Embeddings using Sprinkling and Retrofitting
University of California, Los Angeles（加州大学洛杉矶分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
基于神经网络的词嵌入，如Word2Vec和GloVe，是纯数据驱动的，因为它们从训练语料库中捕获关于词的分布信息。过去的作品试图通过将词汇资源，如WordNet的语义知识，以改善这些嵌入。一些技术，如改装修改词嵌入在后处理阶段，而其他一些使用联合学习方法，通过修改神经网络的目标函数。在本文中，我们讨论了两种新的方法，将语义知识的词嵌入。在第一种方法中，我们利用Levy等人的工作，该工作表明，使用基于SVD的方法对共生矩阵提供类似的性能，以神经网络为基础的嵌入。我们提出了一种“喷洒”技术，直接在因子分解之前将语义关系添加到同现矩阵中。在第二种方法中，WordNet相似度分数用于改进改进的改造方法。我们在内在和外在任务中评估了所提出的方法，并在许多数据集中观察到基线的显着改进。
2020-01-23 cs.CL cs.LG
SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in BERT-based Embedding Spaces
IDSIA（意大利瑞士人工智能研究所）
词汇语义变化检测（也称为语义转移跟踪）是一项识别随着时间的推移已经改变其含义的单词的任务。SemEval2020的重点是无监督语义转移跟踪，这尤其具有挑战性。鉴于无监督设置，在这项工作中，我们建议识别每个目标词的不同出现之间的聚类，将其视为不同词义的代表。因此，所获得的聚类中的不一致自然允许量化四种目标语言中每个目标词的语义转变水平。为了利用这个想法，聚类是在单词出现的上下文（基于BERT）嵌入上执行的。所获得的结果表明，我们的方法在单独（每种语言）和整体上都表现良好，我们超过了所有提供的SemEval基线。
2020-10-02 cs.AI cs.CL
Identifying Word Translations in Non-Parallel Texts
句子和单词对齐的通用算法允许从平行文本中自动识别单词翻译。这项研究表明，识别词的翻译也应该是可能的非平行，甚至不相关的文本。所提出的方法是基于这样的假设，即不同语言的文本中的词同现模式之间存在相关性。
1995-05-22 cmp-lg cs.CL
Factors Influencing the Surprising Instability of Word Embeddings
University of Michigan（密歇根大学）
尽管最近流行的词嵌入方法，只有一个小的身体的工作，探索这些表示的局限性。在本文中，我们考虑嵌入空间的一个方面，即其稳定性。我们发现，即使是相对较高的频率的话（100-200次）往往是不稳定的。我们提供了经验证据，各种因素如何有助于词嵌入的稳定性，我们分析了稳定性对下游任务的影响。
2018-04-25 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University（北京大学）
词嵌入的目的是用低维向量表示词的语义。学习词嵌入（word 2 vec和GloVe）的最新方法仅使用词共现信息。学习的嵌入是实数向量，这对人类来说是模糊的。在本文中，我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明，该模型学习的图像向量和词嵌入具有高度的相关性，表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
A Model of Lexical Attraction and Repulsion
本文介绍了基于指数族的新方法，用于对文本和语音中的词之间的相关性进行建模。虽然以前的工作假设词同现统计的影响是恒定的，在一个窗口的几百个字，我们表明，他们的影响是非平稳的一个小得多的时间尺度。从英语和日语的文本，以及会话语音的经验数据表明，“吸引力”之间的话呈指数衰减，而文体和句法约束创建一个“排斥”之间的话，不鼓励密切的同现。我们表明，这些特征是很好地描述了简单的混合模型的基础上，两阶段的指数分布，可以使用EM算法进行训练。然后，可以将所得到的距离分布作为惩罚特征并入指数语言模型中。
1997-06-16 cmp-lg cs.CL
Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis
Lawrence Livermore National Laboratory (LLNL)（劳伦斯利弗莫尔国家实验室）；Princeton University（普林斯顿大学）；UT Austin（德克萨斯大学奥斯汀分校）；OSU（俄亥俄州立大学）
本文研究了浅层 Transformer 在词共现识别任务上的训练动力学，通过耦合动力系统框架分析了从随机初始化同时训练注意力矩阵和 MLP 层的梯度流，发现训练自然分为两阶段并证明了梯度自动平衡性质，最终实现接近最小的训练损失。
2024-10-12 cs.CL cs.LG
To Know by the Company Words Keep and What Else Lies in the Vicinity
Drexel University（德雷塞尔大学）；Harvard University（哈佛大学）
最先进的（SOTA）自然语言处理（NLP）系统的发展已经稳定地建立了吸收语言数据的统计的新技术。这些技术通常会从传统理论中追溯出众所周知的结构，我们研究这些联系，以缩小关键NLP方法的差距，作为指导未来工作的一种手段。为此，我们引入了一个由开创性算法（包括GloVe和Word 2 Vec）学习的统计数据的分析模型，并为使用这些算法和共现统计数据的系统提供了见解。在这项工作中，我们得出-尽我们所知-第一个已知的解决方案Word 2 Vec的softmax优化，跳过gram算法。这一结果为未来的发展提供了令人兴奋的潜力，作为深度学习（DL）语言模型（LM）矩阵分解的直接解决方案。然而，我们使用该解决方案来证明词向量所表现出的属性的严格普遍存在，并且允许在数据中预防性地识别偏差-在其被DL模型吸收之前。为了使我们的工作合格，我们对独立性进行了分析，即，共现模型中统计依赖性的密度，这反过来又使共现统计对分布假设的部分实现有了深刻的认识。
2022-04-30 cs.CL cs.IT math.IT
Semantic projection: recovering human knowledge of multiple, distinct object features from word embeddings
Harvard University（哈佛大学）；McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑研究所）；Siemens Healthineers（西门子医疗）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
语言的词汇反映了人类思维的结构，使我们能够在个体之间传递思想。然而，语言只能代表我们丰富而详细的认知结构的一个子集。在这里，我们问什么样的共同知识（语义记忆）被捕获的词义（词汇语义）。我们研究了一个突出的计算模型，表示在一个多维空间中的向量的话，这样，词向量之间的接近近似语义相关性。因为相关的词出现在相似的上下文中，所以这种空间--称为“词嵌入“--可以从自然语言中的词汇共现模式中学习到。尽管词嵌入很受欢迎，但一个基本的问题是它们似乎在语义上是“刚性的”：词间接近度只捕捉整体相似性，而人类对对象相似性的判断高度依赖于上下文，涉及多个不同的语义特征。例如，海豚和短吻鳄看起来大小相似，但智力和攻击性不同。这种依赖于上下文的关系可以从词嵌入中恢复吗？为了解决这个问题，我们引入了一个强大的，域通用的解决方案：词向量的“语义投影”到代表各种对象特征的线条上，如大小（从“小”到“大”的线条），智能（从“哑”到“聪明”），或危险（从“安全”到“危险”）。这种方法直观上类似于将物体放在两个极端之间的“心理尺度”上，恢复了人类对一系列物体类别和属性的判断。因此，我们表明，词嵌入继承了丰富的共同知识，从词共现统计，可以灵活地操纵，以表达上下文相关的意义。
2018-03-06 cs.CL
Layer-Wise Analysis of Self-Supervised Acoustic Word Embeddings: A Study on Speech Emotion Recognition
University of Edinburgh（爱丁堡大学）
本研究通过逐层分析自监督声学词嵌入（AWEs）与词嵌入的相似性，并在IEMOCAP和ESD语料库上对比实验，证明恰当使用AWEs能有效提升语音情感识别（SER）的准确性。
2024-02-04 cs.CL cs.SD eess.AS
Word Embeddings via Tensor Factorization
Tufts University（塔夫茨大学）
大多数流行的词嵌入技术涉及将基于词共现的矩阵隐式或显式分解为低秩因子。在本文中，我们的目标是推广这一趋势，使用数值方法的因素高阶词共现的数组，或\textit{tensors}。本文提出了四种基于张量分解的词嵌入方法，并分析了它们的优缺点。我们的主要贡献之一是一个新的联合对称张量因式分解技术相关的耦合张量因式分解的想法。我们表明，基于张量因式分解的嵌入可以用于识别多义词的各种含义，而无需明确训练，并激发了为什么这以一种与现有方法不同的方式工作的直觉。我们还修改了现有的词嵌入评估指标，称为离群值检测[Camacho-Collados和Navigli，2016]，以评估词嵌入捕获的顺序- $N$关系的质量，并表明基于张量的方法在此任务中优于现有的基于矩阵的方法。在实验中，我们表明，我们所有的词嵌入都优于目前在各种最新数据集上常用的最先进的基线，或者具有竞争力。给出了基于张量分解的词嵌入的建议应用，所有源代码和预训练向量都可以在线公开获得。
2017-09-15 cs.CL cs.LG stat.ML
Jointly Learning Word Embeddings and Latent Topics
The Chinese University of Hong Kong（香港中文大学）；Cardiff University（卡迪夫大学）
诸如Skip-gram之类的词嵌入模型基于在文本语料库中观察到的局部词搭配模式来学习每个词的向量空间表示。另一方面，潜在主题模型采取更全局的观点，查看语料库中的单词分布，为每个单词的出现分配一个主题。这两种范式在如何表示词出现的意义上是互补的。虽然一些先前的工作已经着眼于使用词嵌入来提高潜在主题的质量，并且相反地，在使用潜在主题来提高词嵌入时，这样的“两步”方法不能捕获两个范例之间的相互作用。在本文中，我们提出了STE，一个框架，可以学习词嵌入和潜在的主题在一个统一的方式。STE自然地获得特定主题的词嵌入，从而解决了一词多义的问题。同时，它还学习主题的术语分布，以及文档的主题分布。我们的实验结果表明，STE模型确实可以生成有用的特定主题的词嵌入和连贯的潜在主题，在一个有效的和高效的方式。
2017-06-21 cs.CL cs.IR cs.LG
Topic Modeling over Short Texts by Incorporating Word Embeddings
Hefei University of Technology（合肥工业大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
从大量的短文本中推断主题成为许多内容分析任务的关键但具有挑战性的任务，例如内容特征化，用户兴趣分析和新兴主题检测。现有的方法，如概率潜在语义分析（PLSA）和潜在狄利克雷分配（LDA）不能很好地解决这个问题，因为只有非常有限的词共现信息是可用的短文本。本文研究如何将外部词汇相关知识融入到短文中，以提高话题建模的连贯性。基于词嵌入从大规模语料库中学习词的语义表示的最新研究成果，本文提出了一种新的从短文本中学习潜在主题的方法--基于嵌入的主题模型（Embedding-based Topic Model，ETM）。ETM不仅通过将短文本聚合成长伪文本来解决非常有限的词共现信息的问题，而且还利用马尔可夫随机场正则化模型，该模型使相关词有更好的机会被放入同一主题中。在真实数据集上的实验验证了该模型的有效性。
2016-09-27 cs.CL cs.IR cs.LG
A Word-Level Digital Reader of the Prasthanatrayi with Sankara's Bhasya: Corpus, Method, and an Open, Offline Reading Aid for the Advaita Vedanta Canon
Ramakrishna Mission Vivekananda Educational and Research Institute（罗摩克里希那传道会辨喜教育与研究学院）
该研究针对吠檀多三经阅读难题，构建开放离线词级数字阅读器。利用混合管道和人工审核循环处理文本，涵盖多单元及大量词分析与字典。经评估其分析与权威词典高度一致，提供了便捷的教学阅读辅助工具。
2026-07-09 cs.CL cs.DL
