$α$-$β$-Factorization and the Binary Case of Simon's Congruence
Kiel University(基尔大学);University of Gothenburg(哥德堡大学)
本文研究了$α$-$β$-factorization本身,用$1$-universal词刻画了$k$-universal词的Simon同余,并给出了二元情形下同余类的完整刻画与指数计算,同时初步探讨了三元情形。
2023-09-11 cs.CL math.CO
Words are the Window to the Soul: Language-based User Representations for Fake News Detection
Amazon(亚马逊);University of Amsterdam(阿姆斯特丹大学)
语言使用反映了个体的认知和社会特征。此外,容易在网上传播假新闻的人往往有共同的特点。在这些想法的基础上,我们引入了一个模型,该模型仅基于他们产生的语言在社交媒体上创建个人的表示,并使用它们来检测假新闻。我们表明,基于语言的用户表示是有益的这项任务。我们还对假新闻传播者的语言进行了扩展分析,表明其主要特征在两个英语数据集上大多是独立的和一致的。最后,我们利用社交图中语言使用和连接之间的关系来评估我们数据中回音室效应的存在。
2020-11-14 cs.CL
Learning Word Embedding with Better Distance Weighting and Window Size Scheduling
School of Data Science, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)数据科学学院)
针对Word2Vec忽略中心词与上下文词距离的问题,提出LFW和EDWS方法将距离信息融入CBOW与Skip-gram模型,有效提升了词嵌入性能并超越现有最先进方法。
2024-07-27 cs.CL cs.LG
Neural Word Segmentation Learning for Chinese
Shanghai Jiao Tong University(上海交通大学)
大多数以前的中文分词方法将此问题形式化为基于字符的序列标记任务,其中只能捕获固定大小的局部窗口内的上下文信息和相邻标签之间的简单交互。在本文中,我们提出了一种新的神经框架,彻底消除了上下文窗口,可以利用完整的分割历史。我们的模型在字符上采用门控组合神经网络来产生候选单词的分布式表示,然后将其提供给长短期记忆(LSTM)语言评分模型。在基准数据集上的实验表明,在没有像大多数现有方法那样的特征工程的帮助下,我们的模型与以前的最先进的方法相比具有竞争力或更好的性能。
2016-12-02 cs.CL
Improving Word Embedding Factorization for Compression Using Distilled Nonlinear Neural Decomposition
University of British Columbia(不列颠哥伦比亚大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
词嵌入是自然语言处理(NLP)模型的重要组成部分,并已被广泛研究。然而,它们消耗大量内存,这对边缘部署构成了挑战。嵌入矩阵通常包含语言模型的大部分参数,以及机器翻译系统的大约三分之一。本文提出了一种基于低秩矩阵分解和知识蒸馏的(输入/输出)嵌入压缩方法--蒸馏嵌入。首先,我们通过学习重建完整的预训练词嵌入来初始化分解矩阵的权重,然后对分解的嵌入采用知识蒸馏进行端到端的微调。我们在机器翻译和语言建模上使用不同的压缩率进行了广泛的实验,使用不同的数据集,其中嵌入矩阵和词汇投影矩阵都具有共享的单词嵌入矩阵。我们表明,所提出的技术是简单的复制,与一个固定的参数控制压缩大小,具有较高的BLEU分数的翻译和较低的困惑语言建模相比,复杂的,难以调整的最先进的方法。
2020-11-10 cs.CL cs.LG
Extracting and Validating Explanatory Word Archipelagoes using Dual Entropy
The University of Tokyo(东京大学)
本文提出利用基于窗口的熵A提取词语群岛,并用基于图的熵B评估文本逻辑连通性,证明无先验知识下提取的解释性文本部分熵更低。
2024-09-28 cs.CL
Group-Sparse Matrix Factorization for Transfer Learning of Word Embeddings
W. P. Carey School of Business, Arizona State University(亚利桑那州立大学韦伯商学院);University of Pennsylvania(宾夕法尼亚大学);Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
提出一种基于组稀疏惩罚的两阶段估计器,通过结合大规模语料和少量领域数据高效迁移学习领域特定的词嵌入,并证明了其泛化误差界和非凸目标函数的局部最优与全局最优统计等价。
2026-06-19 cs.CL cs.LG stat.ML
Correspondence Analysis and PMI-Based Word Embeddings: A Comparative Study
Hangzhou Dianzi University(杭州电子科技大学);Utrecht University(乌特勒支大学);University of Southampton(南安普顿大学);Southampton Statistical Sciences Research Institute(南安普顿统计科学研究院)
本文比较了基于PMI的词嵌入方法与对应分析的变种,发现ROOT-CA和ROOTROOT-CA在词相似性任务中表现优于传统方法并接近BERT性能。
2026-03-10 cs.CL
Contextual Skipgram: Training Word Representation Using Context Information
Korea University(高丽大学)
skip-gram(SG)模型通过从非结构化文本数据中预测中心词周围的词来学习词表示。然而,并非上下文窗口中的所有单词都有助于中心单词的含义。例如,不太相关的词可能在上下文窗口中,从而阻碍SG模型学习更好质量的表示。在本文中,我们提出了一个增强版本的SG,利用上下文信息来产生单词表示。提出的模型,上下文跳跃gram,旨在预测上下文的中心词和上下文信息的话。这个简单的想法有助于减少无关词对训练过程的影响,从而增强最终的表现
2021-02-17 cs.CL cs.LG
Using Word Embeddings in Twitter Election Classification
University of Glasgow(格拉斯哥大学)
词嵌入和卷积神经网络(CNN)在Twitter的各种分类任务中引起了广泛的关注,例如情感分类。然而,用于训练和生成词嵌入的配置对分类性能的影响在现有文献中尚未研究。在本文中,使用Twitter的选举分类任务,旨在检测选举相关的推文,我们调查的背景数据集用于训练的嵌入模型,上下文窗口大小和维数的词嵌入的分类性能的影响。通过比较两个词嵌入模型的分类结果,这两个模型使用不同的背景语料(例如维基百科文章和Twitter微帖子)进行训练,我们表明背景数据类型应该与Twitter分类数据集保持一致,以实现更好的性能。此外,通过评估使用各种上下文窗口大小和维度训练的词嵌入模型的结果,我们发现大的上下文窗口和维度大小更有利于提高性能。我们的实验结果还表明,使用词嵌入和CNN导致统计上显着的改善,在各种基线,如随机,支持向量机与TF-IDF和支持向量机与词嵌入。
2017-03-21 cs.CL cs.IR
Word embeddings for idiolect identification
National and Kapodistrian University of Athens(雅典国立与卡波迪斯特里亚大学)
个人风格是指个人独特的、有特色的语言运用,它是作者归属的理论基础。在本文中,我们专注于学习社交媒体用户的分布式表示(嵌入),反映他们的写作风格。这些表述可以被认为是作者的风格指纹。我们正在探索分布式表示的两种主要风格的性能,即神经概率语言模型(如word2vec)和矩阵分解(如GloVe)产生的嵌入。
2019-02-10 cs.CL
Enhancing the LexVec Distributed Word Representation Model Using Positional Contexts and External Memory
Institute of Informatics(信息学研究所);Universidade Federal do Rio Grande do Sul(南里奥格兰德联邦大学)
在本文中,我们采取了一个国家的最先进的分布式单词表示模型,明确因式分解的正逐点互信息(PPMI)矩阵使用窗口采样和负采样,并解决其两个缺点。我们通过使用位置上下文来提高语法性能,并通过在外部存储器中处理聚合数据来解决将PPMI矩阵存储在存储器中的需要。这两种修改的有效性显示使用词相似性和类比任务。
2016-06-03 cs.CL
Generating Information Extraction Patterns from Overlapping and Variable Length Annotations using Sequence Alignment
VA Boston Healthcare System(波士顿退伍军人医疗保健系统);Boston University School of Medicine(波士顿大学医学院);University of Vermont(佛蒙特大学)
序列比对用于通过比对包含重叠和可变长度注释的序列来捕获由代表多个概念级别的元素组成的模式。对齐还确定最直接地影响句子内给定目标的含义的单词和短语的适当上下文窗口,消除了对围绕目标的单词的固定上下文窗口的定位的需要。我们使用CoNLL-2003命名实体识别(NER)任务对系统进行了评估。
2019-09-18 cs.CL
SemGloVe: Semantic Co-occurrences for GloVe from BERT
Zhejiang University(浙江大学);Westlake University(西湖大学);University of Technology Sydney(悉尼科技大学)
GloVe通过利用来自单词共现矩阵的统计信息来学习词嵌入。然而,矩阵中的词对是从预定义的本地上下文窗口中提取的,这可能导致有限的词对和潜在的语义不相关的词对。在本文中,我们提出了SemGloVe,提取语义同现从BERT到静态GloVe词嵌入。特别是,我们提出了两个模型来提取共现统计的基础上,无论是掩蔽语言模型或BERT的多头注意力权重。我们的方法可以提取词对,而不受限制的局部窗口假设,并可以定义共现权重直接考虑词对之间的语义距离。在几个词相似度数据集和四个外部任务上的实验表明,SemGloVe的性能优于GloVe。
2021-11-24 cs.AI cs.CL
Exploring Topic Trends in COVID-19 Research Literature using Non-Negative Matrix Factorization
Dhirubhai Ambani Institute of Information and Communication Technology(德鲁拜·安巴尼信息与通信技术学院);Georgia Institute of Technology(佐治亚理工学院)
本研究利用NMF主题建模方法分析CORD-19数据集,经预处理、tf-idf特征提取及稳定性分析确定最优主题数,追踪COVID-19研究主题的时间演变,为领域研究提供知识结构参考。
2025-03-23 cs.CL
Seeded Poisson Factorization: leveraging domain knowledge to fit topic models
针对传统无监督主题模型难与预定义领域对齐的问题,提出融入种子词领域知识的种子泊松因子分解SPF,经多数据集验证其在分类性能与计算效率上更优,且对不完善种子词具鲁棒性。
2025-10-04 cs.CL cs.LG econ.GN
Preliminary Report on the Structure of Croatian Linguistic Co-occurrence Networks
University of Rijeka(里耶卡大学)
在这篇文章中,我们研究了克罗地亚语言共现网络的结构。我们通过系统地改变共现窗口大小、语料库大小和去除停用词来研究网络结构属性的变化。在大小为$n$的共现窗口中,我们在当前单词和$n-1$后续单词之间建立链接。结果表明,随着共生窗口尺寸的增大,共生窗口直径减小,平均路径缩短,平均聚类系数减小。同样可以注意到停止词的删除。最后,由于文本的大小反映在网络属性中,我们的研究结果表明,语料库的影响可以通过增加共现窗口大小来减少。
2014-05-17 cs.CL cs.SI physics.soc-ph
A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches
South Asian University(南亚大学)
本文对现有词嵌入方法进行综合实证评估,将传统矩阵分解方法与基于神经网络的方法分类比较,并通过多个分类任务揭示各自更具优势的应用场景。
2024-03-02 cs.CL cs.NE
Compare, Compress and Propagate: Enhancing Neural Architectures with Alignment Factorization for Natural Language Inference
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*Star(新加坡科技研究局资讯通信研究院)
本文提出了一种新的用于自然语言推理(NLI)的深度学习架构。首先,我们介绍了一种新的架构,比对对进行比较,压缩,然后传播到上层增强表示学习。其次,我们采用因式分解层,将对齐向量高效且富有表现力地压缩为标量特征,然后将其用于增强基本单词表示。我们的方法的设计旨在概念上简单,紧凑,但功能强大。我们在三个流行的基准测试,SNLI,MultiNLI和SciTail上进行实验,在所有测试中都取得了有竞争力的性能。与现有的最先进的模型相比,我们的模型的轻量级参数化在参数大小上也减少了$\approx 3$倍,例如,ESIM和DIIN,同时保持竞争力。此外,视觉分析表明,我们传播的功能是高度可解释的。
2018-09-10 cs.AI cs.CL
Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model
Bangladesh University of Engineering & Technology(孟加拉国工程技术大学);Southeast University(东南大学)
词的词嵌入或向量表示保持词的句法和语义特征,其可以是自然语言处理的任何基于机器学习的模型的信息特征。有几种基于深度学习的单词向量化模型,如word 2 vec,fasttext,gensim,glove等。在这项研究中,我们通过调整不同的超参数来分析用于学习单词向量的word 2 vec模型,并为孟加拉语提供最有效的词嵌入。为了测试word 2 vec模型的微调所产生的不同词嵌入的性能,我们进行了内在和外在的评价。我们对词向量进行聚类,以检测词之间的关系相似度,进行内在评价,并使用不同的词嵌入作为新闻文章分类器的特征,进行外在评价。从我们的实验中,我们发现,300维的词向量,从word 2 vec模型的“skip-gram”方法使用的滑动窗口大小为4,给出了最强大的孟加拉语的矢量表示。
2021-05-03 cs.CL cs.LG
Low Rank Factorization for Compact Multi-Head Self-Attention
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学)
从文本中进行有效的表示学习一直是自然语言处理和文本挖掘领域的研究热点。注意力机制一直处于学习语境句子表征的前沿。目前许多NLP任务的最先进方法使用大型预训练语言模型,如BERT,XLNet等用于学习表示。这些模型基于Transformer架构,该架构涉及由多头自注意和前馈网络组成的循环计算块。在很大程度上导致Transformer模型的计算复杂性的主要瓶颈之一是自注意层,这是计算昂贵和参数密集的。在这项工作中,我们引入了一种新的多头自注意力机制,在GRU上运行,被证明是计算成本更低,更有效的参数比自注意力机制提出的Transformers的文本分类任务。我们方法的效率主要源于两个优化; 1)我们使用亲和力矩阵的低秩矩阵分解来有效地获得多个注意力分布,而不是为每个头部提供单独的参数2)注意力分数通过查询全局上下文向量来获得,而不是密集查询句子中的所有单词。我们评估的任务,如情感分析从电影评论,预测业务评级的评论和分类新闻文章到主题的模型的性能。我们发现,所提出的方法匹配或优于一系列强基线,比可比的多头方法更参数有效。我们还进行了定性分析,以验证所提出的方法是可解释的,并捕捉上下文相关的词的重要性。
2020-08-10 cs.CL cs.LG
Sparse Lifting of Dense Vectors: Unifying Word and Sentence Representations
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
作为自动化自然语言处理的第一步,词语和句子的表示具有核心的重要性,并吸引了大量的研究关注。从早期的one-hot和bag-of-words表示到最近的分布式密集和稀疏表示,提出了不同的方法。尽管已经取得了成功的结果,这样的向量往往是由不可解释的组件,并面临在实际应用中的内存和计算需求的非平凡的挑战。在本文中,我们设计了一种新的表示模型,该模型将密集的词向量投影到更高维的空间中,并支持具有潜在可解释成分的词向量的高度稀疏和二进制表示,同时尽可能保持原始向量之间的成对内积。在计算上,我们的模型是放松作为一个对称的非负矩阵分解问题,承认一个快速而有效的解决方案。在一系列的实证评估中,该模型表现出一致的改进和高潜力的实际应用。
2019-11-05 cs.CL cs.LG
An Analysis of Word2Vec for the Italian Language
ENEA(意大利国家新技术、能源和可持续经济发展局)
单词表示是NLP任务的基础,因为正是从单词之间语义接近度的编码中,才有可能想到教机器理解文本。尽管词嵌入的概念得到了广泛的传播,但在英语以外的语言环境中的研究成果仍然很少。在这项工作中,分析的语义能力的Word2Vec算法,嵌入的意大利语。研究了epoch数、上下文窗口大小和反向传播样本数等参数的设置。
2020-01-25 cs.CL cs.LG stat.ML
Online Embedding Compression for Text Classification using Low Rank Matrix Factorization
Amazon Alexa AI(亚马逊Alexa人工智能);Amazon Search Technologies(亚马逊搜索技术);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种在线词嵌入压缩方法,利用低秩矩阵分解在训练过程中压缩词嵌入层,从而减少NLP模型的内存瓶颈,同时在下游任务中通过重新训练恢复精度,实验证明该方法在句子分类任务中实现了90%的压缩率,并优于固定点量化等其他方法。
2018-11-01 cs.CL cs.LG cs.NA
A Model of Lexical Attraction and Repulsion
本文介绍了基于指数族的新方法,用于对文本和语音中的词之间的相关性进行建模。虽然以前的工作假设词同现统计的影响是恒定的,在一个窗口的几百个字,我们表明,他们的影响是非平稳的一个小得多的时间尺度。从英语和日语的文本,以及会话语音的经验数据表明,“吸引力”之间的话呈指数衰减,而文体和句法约束创建一个“排斥”之间的话,不鼓励密切的同现。我们表明,这些特征是很好地描述了简单的混合模型的基础上,两阶段的指数分布,可以使用EM算法进行训练。然后,可以将所得到的距离分布作为惩罚特征并入指数语言模型中。
1997-06-16 cmp-lg cs.CL
A Generative Word Embedding Model and its Low Rank Positive Semidefinite Solution
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)(南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心(LILY));Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
现有的大多数词嵌入方法可以分为神经嵌入模型和基于矩阵分解(MF)的方法。然而,一些模型是不透明的概率解释,和MF为基础的方法,通常使用奇异值分解(SVD)解决,可能会导致语料库信息的损失。此外,期望将诸如主题、情感或写作风格的全局潜在因素并入到词嵌入模型中。由于生成模型提供了一个原则性的方式来纳入潜在的因素,我们提出了一个生成的词嵌入模型,这是很容易解释,并可以作为更复杂的潜在因素模型的基础。模型推理归结为一个低秩加权半正定逼近问题。其优化方法是通过对子矩阵进行特征分解,然后进行在线分块回归,这是可扩展的,避免了SVD中的信息丢失。在7个常见的基准数据集上的实验中,我们的向量与word2vec竞争,并且优于其他基于MF的方法。
2015-08-16 cs.CL cs.LG stat.ML
A New Anchor Word Selection Method for the Separable Topic Discovery
Huazhong University of Science and Technology(华中科技大学);Cornell University(康奈尔大学)
可分离非负矩阵分解(SNMF)是一种重要的主题建模方法,其中“可分离”假设每个主题至少包含一个锚词,锚词定义为仅在该主题上具有非零概率的词。SNMF通过锚词选择和话题恢复两个步骤,利用词的共现模式来揭示话题。锚词的质量直接影响主题抽取的质量。现有的锚词选择算法是在高维词共现空间中寻找一个近似的凸包。在这项工作中,我们提出了一种新的方法,通过关联的词同现概率与词的相似性,并假设语义上最不同的词是锚词的潜在候选人的锚词的选择。因此,如果词对的相似度很低,那么这两个词很可能是锚词。根据文本语料库的统计信息,我们可以得到所有词对的相似度。我们建立了词相似度图,其中节点对应于词,边缘上的权重代表词对相似度。按照这种方式,我们设计了一个贪婪的方法来找到一个最小的边权重锚集团的锚字选择图中给定的大小。在真实语料库上的大量实验表明,该方法在主题质量方面优于常用的基于凸包的方法.同时,我们的方法是比典型的SNMF为基础的方法快得多。
2019-05-10 cs.CL cs.IR cs.LG