UMDuluth-CS8761 at SemEval-2018 Task 9: Hypernym Discovery using Hearst Patterns, Co-occurrence frequencies and Word Embeddings
Department of Computer Science（计算机科学系）；University of Minnesota（明尼苏达大学）；Duluth, MN 55812 USA（美国明尼苏达州德卢斯（地址信息，非机构））
上位词发现是识别给定术语的潜在上位词的任务。上位词是一个更广义的词，它位于更具体的词的上位。本文探讨了几种依赖于词对共现频率、基于正则表达式的赫斯特模式和从UMBC语料库创建的词嵌入的方法。我们的系统巴贝奇参加了英语的子任务1A，在识别概念上位词时，在19个系统中排名第6，在识别实体上位词时，在18个系统中排名第12。
2018-05-25 cs.CL
Word-Graph2vec: An efficient word embedding approach on word co-occurrence graph using random walk technique
Shenzhen Technology University（深圳技术大学）；Shenzhen Institute of Translational Medicine, Shenzhen Second People’s Hospital, The First Affiliated Hospital of Shenzhen University（深圳转化医学研究院，深圳市第二人民医院，深圳大学第一附属医院）
本文提出Word-Graph2vec，一种基于词共现图和随机游走的词嵌入方法，将大语料转为图并采样训练，效率比Word2vec快4-5倍、比FastText快2-3倍，且误差小。
2023-12-20 cs.CL
Filling Missing Paths: Modeling Co-occurrences of Word Pairs and Dependency Paths for Recognizing Lexical Semantic Relations
The University of Tokyo（东京大学）
识别词对之间的词汇语义关系是自然语言处理许多应用中的一项重要任务。其中一个主流的方法是利用连接两个目标词的词汇-句法路径，这些路径反映了词对之间的语义关系。然而，这种方法要求所考虑的单词在句子中共同出现。这一要求很难满足，因为齐普夫定律指出，大多数实义词很少出现。在本文中，我们提出了新的方法与$P(path|w_1, w_2)$的神经模型来解决这个问题。我们提出的$P(path|w_1, w_2)$模型可以以无监督的方式学习，并且可以概括词对和依赖路径的共现。该模型可以用来扩充语料库中不共现的词对的路径数据，并从词对中提取捕捉关系信息的特征。我们的实验结果表明，我们的方法改进了以前的神经方法的依赖路径，并成功地解决了集中的问题。
2018-09-10 cs.CL
Unsupervised Measure of Word Similarity: How to Outperform Co-occurrence and Vector Cosine in VSMs
The Hong Kong Polytechnic University（香港理工大学）；University of Pisa（比萨大学）
在本文中，我们声称，向量余弦，这通常被认为是最有效的无监督措施，用于识别词的相似性在向量空间模型，可以优于一个无监督的措施，计算的交集之间的程度最相互依赖的上下文的目标词。为了证明这一点，我们描述并评估了APSyn，这是平均精度的一个变体，在没有任何优化的情况下，它在标准ESL测试集上的表现优于向量余弦和同现，其改进范围在+9.00%到+17.98%之间，具体取决于所选择的顶级上下文的数量。
2016-03-30 cs.CL
Topic model based on co-occurrence word networks for unbalanced short text datasets
Beijing Key Laboratory of Intelligent Telecommunication Software and Multimedia（智能电信软件与多媒体北京重点实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对不平衡短文本数据集稀缺主题检测问题，提出CWUTM方法，利用共现词网络捕捉主题分布，重新定义计算增强稀缺主题识别敏感性，采用吉布斯采样，实验验证其在发现稀缺主题上优于基线方法，能有效检测社交平台相关主题。
2026-07-13 cs.CL
Controlled Experiments for Word Embeddings
Lateral GmbH（Lateral有限公司）；NNLP
提出了一种研究词嵌入性质的实验方法。通过修改训练语料库实现的对照实验可以证明词属性与词向量方向和长度之间的直接关系。该方法被证明使用word2vec CBOW模型与实验，独立地改变词频和词同现噪声。实验结果表明，词向量长度或多或少线性依赖于词频和噪声水平的同现分布的话。线性系数取决于单词。特征空间中的特殊点，定义的（人工）字与纯噪声在其共生分布，被发现是小的，但非零。
2015-12-14 cs.CL
Improving Pointwise Mutual Information (PMI) by Incorporating Significant Co-occurrence
IIT Bombay（印度理工学院孟买分校(IIT Bombay)）
我们设计了一个新的共现为基础的词关联措施，将显着的共现的概念，在流行的词关联措施逐点互信息（PMI）。通过大量公开数据集的广泛实验，我们表明，新引入的措施比其他共现为基础的措施，尽管是资源轻，以及与最知名的资源重分布相似性和知识为基础的词关联措施相比，表现更好。我们调查这种性能提高的来源，发现两种类型的显着的共现语料库级和文档级，语料库级的意义的概念结合使用的文档计数代替字数是负责所有的性能增益观察。文档级重要性的概念对PMI适应没有帮助。
2013-07-02 cs.CL
Comparison between the Structures of Word Co-occurrence and Word Similarity Networks for Ill-formed and Well-formed Texts in Taiwan Mandarin
University of Southern California（南加州大学）；Taipei Medical University（台北医学大学）
本研究针对台湾国语的不规范论坛文本与规范司法文本，对比词共现网络和词相似网络的无标度、小世界、异配性三种结构属性，验证相关特征在不同语言与网络类型间的普适性。
2024-08-18 cs.AI cs.CL
Exploiting Similarities among Languages for Machine Translation
Google Inc.（谷歌公司）
词典和短语表是现代统计机器翻译系统的基础。本文提出了一种方法，可以自动生成和扩展字典和短语表的过程。我们的方法可以通过学习语言结构的基础上大单语数据和语言之间的映射，从小双语数据翻译丢失的单词和短语条目。它使用单词的分布式表示，并学习语言向量空间之间的线性映射。尽管简单，我们的方法是令人惊讶的有效：我们可以实现几乎90%的精度@5英语和西班牙语之间的单词翻译。这种方法对语言的假设很少，因此它可以用于扩展和改进任何语言对的词典和翻译表。
2013-09-17 cs.CL
SemGloVe: Semantic Co-occurrences for GloVe from BERT
Zhejiang University（浙江大学）；Westlake University（西湖大学）；University of Technology Sydney（悉尼科技大学）
GloVe通过利用来自单词共现矩阵的统计信息来学习词嵌入。然而，矩阵中的词对是从预定义的本地上下文窗口中提取的，这可能导致有限的词对和潜在的语义不相关的词对。在本文中，我们提出了SemGloVe，提取语义同现从BERT到静态GloVe词嵌入。特别是，我们提出了两个模型来提取共现统计的基础上，无论是掩蔽语言模型或BERT的多头注意力权重。我们的方法可以提取词对，而不受限制的局部窗口假设，并可以定义共现权重直接考虑词对之间的语义距离。在几个词相似度数据集和四个外部任务上的实验表明，SemGloVe的性能优于GloVe。
2021-11-24 cs.AI cs.CL
Modeling Semantic Relatedness using Global Relation Vectors
Cardiff University（卡迪夫大学）
诸如GloVe之类的词嵌入模型依赖于来自大型语料库的共现统计来学习词义的向量表示。这些向量已被证明可以捕获令人惊讶的细粒度语义和语法信息。虽然我们可以类似地期望共现统计可以用于捕获关于不同单词之间关系的丰富信息，但是用于对这种关系进行建模的现有方法主要依赖于操纵预先训练的单词向量。在本文中，我们介绍了一种新的方法，直接学习关系向量的同现统计。为此，我们首先介绍GloVe的一个变体，其中单词向量和PMI加权同现向量之间存在显式连接。然后，我们将展示如何将关系向量自然地嵌入到所得到的向量空间中。
2017-11-14 cs.CL
Co-occurrences using Fasttext embeddings for word similarity tasks in Urdu
NUCES (FAST)（国家科技大学（FAST））；AIM Lab（AIM实验室）
乌尔都语是南亚广泛使用的语言。尽管乌尔都语存在大量文献，但数据仍然不足以通过NLP技术自然地处理语言。英语是一种高资源语言，但乌尔都语和其他资源不足的语言长期以来一直被忽视，因此存在非常有效的语言模型。为了为这些语言创建有效的语言模型，我们必须有好的词嵌入模型。对于乌尔都语，我们只能找到使用skip-gram模型训练和开发的词嵌入。在本文中，我们已经建立了一个语料库乌尔都语通过刮和整合数据从各种来源和编制乌尔都语词汇。我们还修改了快速文本嵌入和N-Gram模型，以便在我们构建的语料库上训练它们。我们使用这些训练的嵌入进行单词相似性任务，并将结果与现有技术进行比较。
2021-02-22 cs.CL
Latent Semantic Word Sense Disambiguation Using Global Co-occurrence Information
Ibaraki University（茨城大学）
本文提出了一种基于NMF的全局共现信息的词义消歧方法。当我计算依赖关系矩阵时，现有的方法倾向于从一个小的训练集产生非常稀疏的共生矩阵。因此，NMF算法有时不会收敛到期望的解。为了获得大量的共现关系，我建议使用整个训练集中词特征之间依赖关系的共现频率。这使我们能够解决数据稀疏问题，并诱导出更有效的潜在特征。为了评估词义消歧方法的效率，本文通过实验对两种基线方法的结果进行了比较。实验结果表明，该方法对词义消歧是有效的。此外，所提出的方法是有效的，通过分析全局共现信息获得稳定的效果。
2014-03-05 cs.CL cs.IR
Improving Sparse Word Representations with Distributional Inference for Semantic Composition
University of Sussex（苏塞克斯大学）
分布模型来自语料库中的同现，其中只有一小部分可能的合理同现将被观察到。这导致非常稀疏的向量空间，需要用于推断缺失知识的机制。大多数方法都面临着这一挑战，使得最终的单词表示无法解释，其结果是语义组合变得难以建模。在本文中，我们探讨了一种替代方案，涉及明确推断未观察到的同现使用的分布邻域。我们发现，分布推理提高了稀疏词表示在几个词相似性基准，并证明我们的模型是有竞争力的形容词-名词，名词-名词和动词-对象组成的最先进的，同时是完全可解释的。
2016-08-24 cs.CL
Co-occurrence Vectors from Corpora vs. Distance Vectors from Dictionaries
比较了从大型文本语料库中使用普通共现统计得到的向量和通过测量词典定义中的词间距离得到的向量。使用1987年《华尔街日报》的共现向量（2000万总词）进行词义消歧的精度高于使用柯林斯英语词典的距离向量（60K中心词+1.6M定义词）。然而，其他的实验结果表明，距离向量包含一些不同的语义信息从同现向量。
1995-04-01 cmp-lg cs.CL
ViCo: Word Embeddings from Visual Co-occurrences
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们建议从视觉同现中学习词嵌入。如果两个词应用于相同的图像或图像区域，则两个词在视觉上共同出现。具体来说，我们从VisualGenome和ImageNet等大规模文本注释的视觉数据库中提取了对象和属性词之间的四种视觉同现。然后，我们训练一个多任务日志双线性模型，压缩编码词的“含义”表示的每个共现类型到一个单一的视觉词向量。通过无监督聚类，监督分区，和一个zero-shot样的泛化分析，我们表明，我们的词嵌入补充纯文本嵌入，如GloVe更好地代表视觉概念之间的相似性和差异，很难单独从文本语料库。我们进一步评估了五个下游应用程序的嵌入，其中四个是视觉语言任务。使用我们的嵌入增强GloVe可以在所有任务上获得收益。我们还发现，随机嵌入在所有有监督的视觉语言任务中执行学习嵌入，这与传统观点相反。
2019-08-22 cs.CL cs.CV
Lexical Co-occurrence, Statistical Significance, and Word Association
IIT Bombay（印度理工学院孟买分校）；Microsoft Research India（微软印度研究院）
词汇同现是检测词汇联想的重要线索。我们提出了一个理论框架，发现统计上显着的词汇共现从一个给定的语料库。与普遍的做法给予权重的unigram频率相比，我们只关注包含两个术语（候选bigram）的文档。我们检测的相关词的跨度分布的偏见，而不可知的全球单字频率的变化。我们的框架具有保真度，区分不同类别的词汇同现，根据强度的文件和语料库水平的线索的同现数据。我们在基准数据集上进行了大量的实验，以研究目前文献中已知的各种同现措施的性能。我们发现，一个相对模糊的措施称为Ochiai，和一个新推出的措施CSA捕获词汇共现的概念最好的，其次是LLR，骰子，和TTest，而另一个流行的措施，PMI，令人惊讶的是，表现不佳的上下文中的词汇共现。
2010-08-31 cs.CL cs.IR
Using word embeddings to improve the discriminability of co-occurrence text networks
Institute of Mathematics；Computer Science, Department of Computer Science, University of S\ a o Paulo, S\ a o Carlos, SP, Brazil
词汇共现网络已被用于分析文本的实际和理论场景。尽管在一些应用中取得了相对成功，但传统的共现网络无法在文本中出现距离较远的相似单词之间建立联系。在这里，我们调查是否使用词嵌入作为一种工具，以创建虚拟链接的同现网络可以提高分类系统的质量。我们的研究结果表明，在风格测量任务的可辨别性提高时，使用手套，Word2Vec和FastText。此外，我们发现，当停止字不被忽视，并使用一个简单的全局阈值策略来建立虚拟链接时，得到了优化的结果。由于所提出的方法能够改善文本作为复杂网络的表示，我们相信它可以扩展到研究其他自然语言处理任务。同样，理论语言研究可以受益于所采用的丰富的表示词共现网络。
2020-03-13 cs.CL cs.SI
Text authorship identified using the dynamics of word co-occurrence networks
University of São Paulo（圣保罗大学）
在有争议的文件中确定作者身份仍然需要人类的专门知识，但由于实际应用中文本和作者数量庞大，这对于许多任务来说是不可行的。在这项研究中，我们介绍了一种方法的基础上的动态词共现网络代表书面文本分类语料库的80个文本由8位作者。文本被分成具有相同数量的语言标记的部分，从这些部分中为12个拓扑度量创建时间序列。该系列被证明是平稳的（p值>0.05），这允许使用分布矩作为学习属性。使用径向基函数网络优化的监督学习过程，80个文本中有68个被正确分类，即显著的85%的作者匹配成功率。因此，纯动态网络指标的波动被发现表征作者，从而开辟了小的不断发展的网络方面的文本描述的方式。此外，所介绍的方法允许以简单、快速的方式比较具有不同特征的文本。
2016-07-29 cs.CL
Unsupervised word sense disambiguation in dynamic semantic spaces
WebGlyphs, Inc.（WebGlyphs公司）
本文主要研究在新词语和新义频繁出现的动态语义空间中快速自动地区分词义的能力。这些空间是从不断发展的数据集（如维基百科、专利授权和申请的存储库或用于技术辅助审查和电子发现的大量法律文件集）“动态”构建的。这种直接性排除了监督以及先验训练集的使用。我们表明，一个术语的各种意义，可以自动明显与一个简单的聚类算法，每个意义是一个向量的语义空间。虽然我们在这里只考虑通过使用随机向量构建的语义空间，但该算法应该适用于任何类型的嵌入，前提是可以计算术语之间有意义的相似性，并且至少满足两个基本条件，即含义接近的术语具有高相似性，含义不相关的术语具有接近零的相似性。
2018-02-16 cs.CL
Extracting and Validating Explanatory Word Archipelagoes using Dual Entropy
The University of Tokyo（东京大学）
本文提出利用基于窗口的熵A提取词语群岛，并用基于图的熵B评估文本逻辑连通性，证明无先验知识下提取的解释性文本部分熵更低。
2024-09-28 cs.CL
Variable Word Rate N-grams
单词的出现率并不统一，而是因文件而异。尽管有这种观察，常规的n元语言模型的参数通常使用恒定字率的假设来导出。在本文中，我们研究使用可变字率假设，模拟泊松分布或连续混合泊松。我们提出了一种方法来估计相对频率的话或n-grams考虑到他们的出现先验信息。还考虑了贴现和平滑方案。使用广播新闻任务，该方法表明，减少困惑高达10%。
2000-03-29 cs.CL
LearningWord Embeddings for Low-resource Languages by PU Learning
University of Virginia（弗吉尼亚大学）；University of California Davis（加利福尼亚大学戴维斯分校）；Amazon（亚马逊）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
词嵌入是处理自然语言的许多下游应用中的关键组件。现有的方法通常假设存在大量的文本来学习有效的词嵌入。然而，这样的语料库可能不适用于一些低资源语言。在本文中，我们研究如何有效地学习一个词嵌入模型的语料库只有几百万的令牌。在这种情况下，共现矩阵是稀疏的，因为许多词对的共现是未观察到的。与现有的方法通常只采样几个未观察到的词对作为负样本相比，我们认为，共现矩阵中的零条目也提供了有价值的信息。然后，我们设计了一个积极的无标签学习（PU学习）的方法，因式分解的共生矩阵，并在四种不同的语言验证所提出的方法。
2018-05-09 cs.CL
Combining a Context Aware Neural Network with a Denoising Autoencoder for Measuring String Similarities
University of Agder（阿格德尔大学）
测量字符串之间的相似性是许多已建立和快速发展的研究领域的核心，包括信息检索，生物学和自然语言处理。字符串相似性度量的传统方法是在词空间上定义一个度量，该度量量化并总结两个字符串中字符之间的差异。令人惊讶的是，在过去的几十年里，该地区的最先进技术并没有太大的发展。大多数度量是基于字符和字符分布之间的简单比较，而不考虑单词的上下文。本文提出了一个字符串度量，包括字符串之间的相似性的基础上（1）字符之间的相似性的话，包括。相同单词的非标准和标准拼写，以及（2）单词的上下文。我们的建议是一个神经网络，由一个去噪自动编码器和一个我们称之为上下文编码器组成，该编码器专门设计用于根据上下文找到单词之间的相似性。实验结果表明，该方法在85.4%的情况下能够从最接近的单词中找到非标准拼写的正确版本，而使用已建立的Normalised-Levenshtein距离时的正确率为63.2%。此外，我们表明，在类似的上下文中使用的单词与我们的方法计算出的单词与不同的上下文，这是一个理想的属性，在既定的字符串度量失踪相似。
2018-07-16 cs.AI cs.CL cs.IR
Just Rank: Rethinking Evaluation with Word and Sentence Similarities
National University of Singapore（新加坡国立大学）；University of Southern California（南加州大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Kriston AI（科通智能）
在自然语言处理中，词和句子嵌入是非常有用的特征表示。然而，嵌入的内在评估远远落后，自过去十年以来一直没有重大更新。词语和句子相似性任务已经成为事实上的评价方法。它导致模型过度拟合这些评估，对嵌入模型的开发产生负面影响。本文首先指出了使用语义相似度作为词和句子嵌入评价的金标准存在的问题。此外，我们提出了一种新的内在评估方法，称为EvalRank，它与下游任务的相关性要强得多。基于60多个模型和流行的数据集进行了广泛的实验，以证明我们的判断。最后，发布了实用评价工具包，以供今后制定基准之用。
2022-03-21 cs.AI cs.CL
Category Enhanced Word Embedding
The University of Hong Kong（香港大学）；Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
分布式词表示已被证明是有效的，在捕捉语义和句法的错误。来自大型未标记语料库的无监督表示学习可以为呈现相似共现统计的那些单词学习相似的表示。除了局部出现统计之外，全局主题信息也是重要的知识，可以帮助区分一个词。在本文中，我们将文档的类别信息纳入单词表示的学习中，并以文档方式学习所提出的模型。我们的模型在单词类比和单词相似性任务中优于几个最先进的模型。此外，我们评估学习的词向量的情感分析和文本分类任务，这表明我们学习的词向量的优越性。我们还学习了反映主题意义的高质量类别嵌入。
2015-11-30 cs.CL
Matrix Factorization using Window Sampling and Negative Sampling for Improved Word Representations
Institute of Informatics（信息学研究所）；Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）
在本文中，我们提出了LexVec，一种新的方法，用于生成分布式单词表示，使用低秩，加权因式分解的正逐点互信息矩阵通过随机梯度下降，采用加权方案，分配较重的惩罚频繁同现的错误，同时仍然占负同现。对单词相似性和类比任务的评估表明，LexVec在许多这些任务上匹配并经常优于最先进的方法。
2016-06-07 cs.CL
Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence
Johns Hopkins University（约翰霍普金斯大学）；EPFL（苏黎世联邦理工学院）
本文提出一种分布理论，证明语言表示中的上下义关系几何结构源于词汇共现的谱结构，并在word2vec和Gemma 2B嵌入中得到验证。
2026-05-22 cs.CL cs.LG
Word Sense Disambiguation by Web Mining for Word Co-occurrence Probabilities
本文介绍了美国国家研究委员会（NRC）的词义消歧（WSD）系统，适用于英语词汇样本（ELS）的任务在Senseval-3。NRC系统将WSD作为一个经典的监督机器学习问题，使用熟悉的工具，如Weka机器学习软件和Brill的基于规则的词性标注器。中心词被表示为具有数百个特征的特征向量。大约一半的特征是句法的，另一半是语义的。该系统的主要新颖之处在于基于单词\hbox{co-occurrence}概率生成语义特征的方法。概率估计使用滑铁卢多文本系统与语料库的约一TB的未标记的文本，收集的网络爬虫。
2004-07-29 cs.CL cs.IR cs.LG
Exploiting Cross-Lingual Subword Similarities in Low-Resource Document Classification
University of Maryland（马里兰大学）；University of Colorado（科罗拉多大学）；Google Research（谷歌研究院）
文本分类有时必须应用于没有标记训练数据的低资源语言。然而，训练数据可以以相关语言可用。我们调查是否字符级的知识转移相关的语言有助于文本分类。我们提出了一个跨语言的文档分类框架（CACO），利用跨语言的子词相似性，联合训练基于字符的嵌入器和基于词的分类器。嵌入器从输入单词的书面形式中导出输入单词的矢量表示，分类器基于单词矢量进行预测。我们使用一个联合字符表示的源语言和目标语言，这使得嵌入器概括知识的源语言的话，以目标语言的单词具有相似的形式。我们提出了一个多任务的目标，可以进一步改善模型，如果额外的跨语言或单语资源。实验证实，字符级的知识转移是更有效的数据比词级的相关语言之间的传输。
2020-04-28 cs.CL cs.LG
Beyond Shared Vocabulary: Increasing Representational Word Similarities across Languages for Multilingual Machine Translation
Language Technology Lab（语言技术实验室）；University of Amsterdam（阿姆斯特丹大学）
针对多语言 NMT 中共享词汇因文字差异导致迁移受限的问题，提出基于词汇等价类和图网络融合跨语言词嵌入的方法，在高、低资源场景下最高提升 BLEU 2.3 分且开销很小。
2024-01-20 cs.CL cs.LG
Word Clustering and Disambiguation Based on Co-occurrence Data
我们解决的问题，聚类词（或构建词库）的基础上共现数据，并使用所获得的词类，以提高句法消歧的准确性。我们认为这个问题的估计联合概率分布指定的联合概率的词对，如名词动词对。我们提出了一个有效的算法的基础上的最小描述长度（MDL）的原则，估计这样的概率分布。我们的方法是一个自然的扩展（布朗等人92）和（李和安倍96），并克服了他们的缺点，同时保留他们的优点。然后，我们结合这种聚类方法与消歧方法（李和安倍95），得到一个消歧方法，利用自动构建的词库和手工制作的词库。通过我们的方法实现的整体消歧准确率为85.2%，这与通过最先进的消歧方法（Brill & Resnik 94）获得的准确率（82.4%）相比是有利的。
1998-07-17 cmp-lg cs.CL
Look inside. Predicting stock prices by analysing an enterprise intranet social network and using word co-occurrence networks
这项研究调查了员工的沟通，提供了新的指标，可以帮助预测公司的股票价格。我们研究了一家大型意大利公司的内部网论坛，探索了大约8,000名员工的互动和语言使用。我们建立了一个网络连接的话包括在一般的话语。在这个网络中，我们关注代表公司品牌的节点的位置。我们发现，较低的情绪，公司品牌的较高介数中心性，更密集的词共现网络和更均匀分布的员工中心性得分（较低的群体介数中心性）都是较高股票价格的重要预测因素。我们的研究结果提供了新的指标，可以帮助学者，公司经理和专业投资者，并可以整合到现有的预测模型，以提高其准确性。最后，通过扩展词共现网络的应用领域，为词共现网络的研究做出了贡献。
2021-05-25 cs.CL cs.SI physics.soc-ph
Evaluating Neural Word Representations in Tensor-Based Compositional Settings
Queen Mary University of London（伦敦玛丽女王大学）；University of Oxford（牛津大学）
我们提供了一个比较研究神经词表示和传统的向量空间的基础上共现计数，在一些组成的任务。我们使用三种不同的语义空间，并实现了七个基于张量的组合模型，然后我们在涉及动词消歧和句子相似性的任务中进行测试（以及更简单的加法和乘法方法）。为了检查它们的可扩展性，我们还使用简单的合成方法对具有较少约束的语言的大规模任务进行了空间评估：释义检测和对话行为标记。在更受约束的任务中，同现向量是有竞争力的，尽管组合方法的选择很重要;在大规模的任务中，它们被神经词嵌入胜过，神经词嵌入在整个任务中表现出鲁棒、稳定的性能。
2014-08-26 cs.CL
Co-Occurrence Patterns in the Voynich Manuscript
《伏尼契手稿》是一本用未知的文字写成的中世纪书籍。本文研究了《伏尼契手稿》中同形词的分布情况。这表明手稿中的单词分布与自然语言不兼容。
2016-02-08 cs.CL cs.CR
Sentiment and structure in word co-occurrence networks on Twitter
Computational Story Lab（计算故事实验室）；Vermont Complex Systems Center（佛蒙特复杂系统中心）；MassMutual Center of Excellence for Complex Systems and Data Science（麻省互惠复杂系统与数据科学卓越中心）；Vermont Advanced Computing Core（佛蒙特高级计算核心）；University of Vermont（佛蒙特大学）；Advanced Bioimaging Center（高级生物成像中心）；UC Berkeley（加州大学伯克利分校）
我们使用词共现网络探索政治推文中的上下文和幸福分数之间的关系，其中网络中的节点是词，边的权重是语料库中两个连接的词共现的推文的数量。特别是，我们考虑了带有#imwithher和#crookedhillary标签的推文，这两个标签都与希拉里·克林顿2016年的总统竞选有关。然后，我们分析了网络的属性与词的分数通过比较与空模型分离的网络结构和分数分布的影响。中性词占主导地位，大多数词，无论极性，往往与中性词共现。我们没有观察到任何积极和消极的词之间的分数同质性。然而，当我们进行网络主干时，社区发现会产生具有有意义叙述的单词分组，并且每个组中单词的幸福分数对应于其各自的主题。因此，虽然我们没有观察到明确的幸福分数和同现之间的关系，在节点或边缘水平，以社区为中心的方法可以隔离的主题，在语料库中的竞争情绪。
2021-10-01 cs.CL cs.CY cs.SI
Unsupervised Multimodal Word Discovery based on Double Articulation Analysis with Co-occurrence cues
Ritsumeikan University（立命馆大学）
本文提出融合 NPB-DAA 与 MLDA 的全无监督多模态方法，利用音系分布及视觉、触觉、听觉共现线索从语音中发现词语和音素，实验证明其词汇发现与切分性能优于基线。
2023-08-21 cs.AI cs.CL cs.RO
Learning Features from Co-occurrences: A Theoretical Analysis
IBM T. J. Watson Research Center（IBM T. J. Watson 研究中心）
通过词在上下文中与其他词的共现来表示词是获取词的意义的一种有效方法。然而，背后的理论仍然是一个挑战。本文以词分类为例，对用函数f（P（C）表示词X的方法进行了理论分析|其中C是上下文特征，P（C| X）是从文本语料库估计的条件概率，并且函数f将共现度量映射到预测分数。我们研究了上下文特征C和函数f的影响。我们还解释了为什么使用多个上下文特征的同现可能比只使用单个上下文特征更好的原因。此外，一些结果揭示了一般的特征学习和机器学习的理论。
2017-07-13 cs.CL cs.LG math.ST
Subspace Representations for Soft Set Operations and Sentence Similarities
Nara Institute of Science and Technology（奈良科学技术研究所）；Kyoto University（京都大学）；Tohoku University（东北大学）；RIKEN（理化学研究所）
针对传统词向量方法难以处理词集合表示、缺乏集合运算的问题，提出基于预训练词嵌入空间线性子空间的词集合表示方法，可高效实现集合运算与F-score计算，在句子相似度等任务上性能优于向量方法。
2024-04-10 cs.CL cs.LG
Spoken Word2Vec: Learning Skipgram Embeddings from Speech
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文针对口语词语义嵌入易编码语音而非语义的问题，分析浅层 skipgram 失效原因，并提出深度端到端变体以改善嵌入空间的语义相关性。
2024-07-01 cs.AI cs.CL
Complex networks based word embeddings
Le Mans Université（勒芒大学）；Université de Nantes（南特大学）
大多数情况下，学习词嵌入的第一步是构建词共现矩阵。由于这些矩阵等价于图，因此复杂网络理论自然可以用来处理这些数据。本文考虑将该领域的主要工具社区发现应用于大规模语料库所对应的共现矩阵。社区结构被用来作为一种方式来减少初始空间的维数。使用这种社区结构，我们提出了一种方法来提取词嵌入，是国家的最先进的方法相媲美。
2019-10-03 cs.CL cs.LG
Measuring Societal Biases from Text Corpora with Smoothed First-Order Co-occurrence
Johannes Kepler University（约翰内斯·开普勒大学）；EPFL（洛桑联邦理工学院）；Idiap Research Institute（IDIAP研究所）；TU Wien（维也纳工业大学）；Complexity Science Hub Vienna（维也纳复杂性科学中心）
文本语料库被广泛用于衡量社会偏见和刻板印象。使用语料库来测量这种偏差的常见方法是通过计算词（如护士）的嵌入向量与感兴趣的概念（如性别）的代表词的向量之间的相似性。在这项研究中，我们表明，根据一个人的目的是量化为偏见，这种常用的方法可以引入不相关的概念到偏见的测量。我们提出了一种替代方法，利用平滑的一阶同现关系的词和代表性的概念词，我们通过重建固有的共现估计词嵌入模型。我们比较这些方法进行了几个实验的情况下，测量职业词的性别偏见，根据英文维基百科语料库。我们的实验表明，测量的性别偏见与美国就业市场的实际性别偏见统计数据的相关性更高-在两个集合和各种词嵌入模型上-使用一阶方法与基于向量相似性的方法相比。一阶方法还表明，在一些特定的职业中，女性比其他方法更严重的偏见。
2021-04-27 cs.CL cs.LG stat.ML
Document Network Projection in Pretrained Word Embedding Space
Université de Lyon（里昂大学）；Lyon 2（里昂第二大学）
我们提出了正则化线性嵌入（RLE），这是一种将链接文档（例如引文网络）的集合投影到预训练的词嵌入空间中的新方法。除了文本内容之外，我们还利用成对相似性矩阵提供补充信息（例如，引文图中两个文档的网络邻近度）。我们首先为每个文档构建一个简单的词向量平均值，然后使用相似性来改变这个平均表示。文档表示可以帮助解决许多信息检索任务，如推荐，分类和聚类。我们证明，我们的方法优于或匹配现有的文件网络嵌入方法的节点分类和链接预测任务。此外，我们表明，它有助于确定相关的关键字来描述文档类。
2020-01-16 cs.CL cs.IR
Semantic projection: recovering human knowledge of multiple, distinct object features from word embeddings
Harvard University（哈佛大学）；McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑研究所）；Siemens Healthineers（西门子医疗）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
语言的词汇反映了人类思维的结构，使我们能够在个体之间传递思想。然而，语言只能代表我们丰富而详细的认知结构的一个子集。在这里，我们问什么样的共同知识（语义记忆）被捕获的词义（词汇语义）。我们研究了一个突出的计算模型，表示在一个多维空间中的向量的话，这样，词向量之间的接近近似语义相关性。因为相关的词出现在相似的上下文中，所以这种空间--称为“词嵌入“--可以从自然语言中的词汇共现模式中学习到。尽管词嵌入很受欢迎，但一个基本的问题是它们似乎在语义上是“刚性的”：词间接近度只捕捉整体相似性，而人类对对象相似性的判断高度依赖于上下文，涉及多个不同的语义特征。例如，海豚和短吻鳄看起来大小相似，但智力和攻击性不同。这种依赖于上下文的关系可以从词嵌入中恢复吗？为了解决这个问题，我们引入了一个强大的，域通用的解决方案：词向量的“语义投影”到代表各种对象特征的线条上，如大小（从“小”到“大”的线条），智能（从“哑”到“聪明”），或危险（从“安全”到“危险”）。这种方法直观上类似于将物体放在两个极端之间的“心理尺度”上，恢复了人类对一系列物体类别和属性的判断。因此，我们表明，词嵌入继承了丰富的共同知识，从词共现统计，可以灵活地操纵，以表达上下文相关的意义。
2018-03-06 cs.CL
SeVeN: Augmenting Word Embeddings with Unsupervised Relation Vectors
Cardiff University（卡迪夫大学）
我们提出了SeVeN（语义向量网络），一种混合资源，以图形的形式编码单词之间的关系。与传统的语义网络不同，这些关系被表示为连续向量空间中的向量。我们提出了一个简单的管道学习这种关系向量，这是基于词向量平均结合一个特设的自动编码器。我们表明，通过显式编码的关系信息在一个专用的向量空间，我们可以捕捉到的单词的含义是互补的词嵌入所捕获的方面。例如，通过研究关系向量的集群，我们观察到，关系相似性可以在一个更抽象的层次上比传统的词向量差异。最后，我们在两个任务中测试了语义向量网络的有效性：词相似度测量和神经文本分类。SeVeN可在bitbucket.org/luisespinosa/seven上获得。
2018-08-18 cs.CL
Co-occurrence of the Benford-like and Zipf Laws Arising from the Texts Representing Human and Artificial Languages
Ariel University（阿里埃勒大学）
我们证明，大型文本，代表人类（英语，俄语，乌克兰语）和人工（C++，Java）语言，显示定量模式的特点是本福德和Zipf定律。遵循齐普夫定律的单词出现的频率与它的等级成反比，而出现在文本中的某个单词的总数会产生前导数字的不均匀分布。排除最流行的单词本质上提高了实际文本数据与齐普菲分布的相关性，而前导数字（由某个单词的总量产生）的本福德分布对相同的排除过程不敏感。人工语言（C++，Java）的双曲线斜率模量的计算值明显大于人类语言的计算值。
2018-03-06 cs.CL physics.soc-ph stat.OT
Structural Similarities Between Language Models and Neural Response Measurements
Pioneer Centre for AI, Denmark（丹麦先锋人工智能中心）；Center for Philosophy of AI, Denmark（丹麦人工智能哲学中心）；University of Copenhagen（哥本哈根大学）；Princeton University（普林斯顿大学）；Technical University of Denmark（丹麦技术大学）
本文研究语言模型表示与脑成像神经响应测量之间的几何结构相似性，发现模型规模越大，其表示与神经响应的结构相似性越高。
2023-10-31 cs.AI cs.CL
Exploiting Transliterated Words for Finding Similarity in Inter-Language News Articles using Machine Learning
Bahria University（巴赫里亚大学）
本文针对跨语言新闻相似性发现难题，提出结合英语-乌尔都语单词转写与词典的机器学习模型，以解决低资源语言场景下英语与乌尔都语新闻文章的相似性判断问题。
2022-05-29 cs.AI cs.CL cs.LG
Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI（伦斯勒理工学院）
关键词提取是在文本文档中找到几个有趣的短语的任务，这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是，一个词在文档中可能有不同的表达形式，也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中，我们利用词嵌入作为背景知识来增强基于图的排序模型，以向词间图添加语义信息。我们的方法进行了评估，建立基准数据集和实证结果表明，词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
Integrating Lexical Knowledge in Word Embeddings using Sprinkling and Retrofitting
University of California, Los Angeles（加州大学洛杉矶分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
基于神经网络的词嵌入，如Word2Vec和GloVe，是纯数据驱动的，因为它们从训练语料库中捕获关于词的分布信息。过去的作品试图通过将词汇资源，如WordNet的语义知识，以改善这些嵌入。一些技术，如改装修改词嵌入在后处理阶段，而其他一些使用联合学习方法，通过修改神经网络的目标函数。在本文中，我们讨论了两种新的方法，将语义知识的词嵌入。在第一种方法中，我们利用Levy等人的工作，该工作表明，使用基于SVD的方法对共生矩阵提供类似的性能，以神经网络为基础的嵌入。我们提出了一种“喷洒”技术，直接在因子分解之前将语义关系添加到同现矩阵中。在第二种方法中，WordNet相似度分数用于改进改进的改造方法。我们在内在和外在任务中评估了所提出的方法，并在许多数据集中观察到基线的显着改进。
2020-01-23 cs.CL cs.LG
SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in BERT-based Embedding Spaces
IDSIA（意大利瑞士人工智能研究所）
词汇语义变化检测（也称为语义转移跟踪）是一项识别随着时间的推移已经改变其含义的单词的任务。SemEval2020的重点是无监督语义转移跟踪，这尤其具有挑战性。鉴于无监督设置，在这项工作中，我们建议识别每个目标词的不同出现之间的聚类，将其视为不同词义的代表。因此，所获得的聚类中的不一致自然允许量化四种目标语言中每个目标词的语义转变水平。为了利用这个想法，聚类是在单词出现的上下文（基于BERT）嵌入上执行的。所获得的结果表明，我们的方法在单独（每种语言）和整体上都表现良好，我们超过了所有提供的SemEval基线。
2020-10-02 cs.AI cs.CL
A New Anchor Word Selection Method for the Separable Topic Discovery
Huazhong University of Science and Technology（华中科技大学）；Cornell University（康奈尔大学）
可分离非负矩阵分解（SNMF）是一种重要的主题建模方法，其中“可分离”假设每个主题至少包含一个锚词，锚词定义为仅在该主题上具有非零概率的词。SNMF通过锚词选择和话题恢复两个步骤，利用词的共现模式来揭示话题。锚词的质量直接影响主题抽取的质量。现有的锚词选择算法是在高维词共现空间中寻找一个近似的凸包。在这项工作中，我们提出了一种新的方法，通过关联的词同现概率与词的相似性，并假设语义上最不同的词是锚词的潜在候选人的锚词的选择。因此，如果词对的相似度很低，那么这两个词很可能是锚词。根据文本语料库的统计信息，我们可以得到所有词对的相似度。我们建立了词相似度图，其中节点对应于词，边缘上的权重代表词对相似度。按照这种方式，我们设计了一个贪婪的方法来找到一个最小的边权重锚集团的锚字选择图中给定的大小。在真实语料库上的大量实验表明，该方法在主题质量方面优于常用的基于凸包的方法.同时，我们的方法是比典型的SNMF为基础的方法快得多。
2019-05-10 cs.CL cs.IR cs.LG
A Model of Lexical Attraction and Repulsion
本文介绍了基于指数族的新方法，用于对文本和语音中的词之间的相关性进行建模。虽然以前的工作假设词同现统计的影响是恒定的，在一个窗口的几百个字，我们表明，他们的影响是非平稳的一个小得多的时间尺度。从英语和日语的文本，以及会话语音的经验数据表明，“吸引力”之间的话呈指数衰减，而文体和句法约束创建一个“排斥”之间的话，不鼓励密切的同现。我们表明，这些特征是很好地描述了简单的混合模型的基础上，两阶段的指数分布，可以使用EM算法进行训练。然后，可以将所得到的距离分布作为惩罚特征并入指数语言模型中。
1997-06-16 cmp-lg cs.CL
Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis
Lawrence Livermore National Laboratory (LLNL)（劳伦斯利弗莫尔国家实验室）；Princeton University（普林斯顿大学）；UT Austin（德克萨斯大学奥斯汀分校）；OSU（俄亥俄州立大学）
本文研究了浅层 Transformer 在词共现识别任务上的训练动力学，通过耦合动力系统框架分析了从随机初始化同时训练注意力矩阵和 MLP 层的梯度流，发现训练自然分为两阶段并证明了梯度自动平衡性质，最终实现接近最小的训练损失。
2024-10-12 cs.CL cs.LG
