Evaluating Unsupervised Dutch Word Embeddings as a Linguistic Resource
CLiPS, University of Antwerp（安特卫普大学CLiPS）
词嵌入最近由于在各种任务上的强大性能增益而引起了人们的强烈兴趣。然而，大多数研究也强调了基准数据集的重要性，以及为各种特定语言任务构建这些数据集的难度。尽管如此，这些任务中使用的许多数据集可能被证明是富有成效的语言资源，允许对语言使用和变异性进行独特的观察。在本文中，我们展示了多种类型的嵌入，创建计数和基于预测的架构上的各种语料库，在两个语言特定的任务：关系评估，方言识别的性能。对于后者，我们将无监督方法与传统的手工字典进行比较。通过这项研究，我们提供了嵌入本身，关系评估任务基准用于进一步的研究，并展示了基准嵌入如何证明一个有用的无监督的语言资源，有效地用于下游任务。
2016-07-01 cs.CL
New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia（西波希米亚大学）；NTIS—New Technologies for the Information Society（NTIS—新信息技术学会）
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了，但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为，捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务，检查语法，形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验，并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
Discovering emergent connections in quantum physics research via dynamic word embeddings
Universiteit Leiden（莱顿大学）；Max Planck Institute for the Science of Light（马克斯·普朗克光科学研究所）
本文提出一种基于动态词嵌入的概念组合预测方法，用于发现量子物理研究中跨子领域的隐含联系，实验证明其能准确预测概念共现且比知识图谱更灵活。
2024-11-10 cs.AI cs.LG quant-ph
Are NLP Models really able to Solve Simple Math Word Problems?
Microsoft Research India（微软研究院印度）
设计数学应用题（MWP）的NLP求解器的问题已经看到了持续的研究活动和测试准确性的稳定增长。由于现有的求解器实现高性能的基准数据集上的初级水平MWPs包含一个未知的算术字的问题，这样的问题往往被认为是“解决”的大部分研究的注意力转移到更复杂的MWPs。在本文中，我们限制我们的注意力在四年级及以下的英语MWPs教学。我们提供了强有力的证据表明，现有的MWP求解器依赖于浅层算法来实现高性能的基准数据集。为此，我们表明，MWP求解器，没有访问的问题，在MWP仍然可以解决大部分的MWP。类似地，将MWP视为词袋的模型也可以实现令人惊讶的高准确性。此外，我们引入了一个挑战数据集，SVAMP，通过应用精心选择的变化从现有的数据集采样的例子。最先进的模型所达到的最佳精度在SVAMP上要低得多，因此即使是最简单的MWP也有很多工作要做。
2021-04-15 cs.CL
One Size Does Not Fit All: The Case for Personalised Word Complexity Models
University of Cambridge（剑桥大学）；Google（谷歌）
复杂词识别（CWI）旨在检测文本中读者可能难以理解的单词。研究表明，CWI系统可以改善文本简化、可读性预测和词汇习得建模。然而，一个单词的难度是一个非常特殊的概念，取决于读者的第一语言，熟练程度和阅读经验。在本文中，我们表明，个人模型是最好的预测单词的复杂性为个人读者。我们使用一种新型的主动学习框架，允许模型根据个人定制，并发布复杂性注释和模型的数据集作为进一步研究的基准。
2022-05-05 cs.AI cs.CL cs.HC
Stop Words for Processing Software Engineering Documents: Do they Matter?
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
本研究针对软件工程领域停用词移除的实用性争议，复现三种相关研究工具，基于1万条Stack Overflow问题构建语料库并识别200个领域停用词，证实领域停用词比通用停用词表更能提升工具性能。
2023-06-12 cs.CL cs.SE
CompText: Visualizing, Comparing & Understanding Text Corpus
UC Davis（加州大学戴维斯分校）
自然语言处理（NLP）中的一种常见做法是在不通读整个文献的情况下可视化文本语料库，仍然抓住所描述的中心思想和关键点。长期以来，研究者们致力于从文本中提取主题，并根据主题在语料库中的相对重要性将其可视化。然而，最近，研究人员开始提出更复杂的系统，不仅暴露了语料库的主题，还暴露了与主题密切相关的词，为用户提供了一个整体视图。这些详细的可视化催生了基于可视化的文本语料库比较研究。主题经常被比较以理想化语料库之间的差异。然而，为了从不同的语料库中获取更大的语义，研究人员已经开始根据与文本相关的主题的情感来比较文本。通过比较权重最大的词，可以了解语料库的重要主题。有多种现有的文本比较方法，目前比较的主题，而不是情绪，但我们认为，专注于情感携带的话会更好地比较两个语料库。因为只有情感才能解释文本的真实感受，而不仅仅是主题，没有情感的主题只是名词。我们的目标是区分语料库，重点是情感，而不是比较所有的话出现在两个语料库。这背后的基本原理是，这两个语料库没有多少相同的词进行并排比较，所以比较情感词给我们一个想法，语料库是如何吸引读者的情感。我们可以认为，熵或主题的意外性和分歧也应该是重要的，并帮助我们确定关键的支点和语料库中某些主题的重要性以及相对情绪。
2022-07-27 cs.CL
Word-level Lexical Normalisation using Context-Dependent Embeddings
The University of Western Australia（西澳大利亚大学）
词汇规范化（LN）是将数据集中的每个单词校正为其规范形式的过程，以便更容易，更准确地分析。大多数词汇规范化系统都是在字符级别上运行的，而单词级别的模型很少使用。最近的语言模型提供了解决方案的缺点，词级LN模型，然而，据我们所知，没有研究已经调查他们的有效性LN。在本文中，我们介绍了一个词级的基于GRU的LN模型和最近的嵌入技术的有效性字级LN。我们的研究结果表明，我们基于GRU的单词级模型比字符级模型产生更好的结果，并且在Twitter数据上优于现有的基于深度学习的LN技术。我们还发现，在某些情况下，随机初始化的嵌入能够优于预先训练的嵌入模型。最后，我们向社区发布了大量的词汇规范化数据集。
2019-11-13 cs.CL
Does He Wink or Does He Nod? A Challenging Benchmark for Evaluating Word Understanding of Language Models
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
在大型语料库上预训练语言模型的最新进展已经在许多NLP任务上取得了很大的性能提升。这些大型模型在预训练期间获得语言知识，这有助于通过微调提高下游任务的性能。为了评估获得了什么样的知识，语言模型通常是通过“填空”式完形填空来查询的。现有的探测数据集主要集中在单词和实体之间的关系的知识。我们引入了WDLMPro（Word Definition语言模型Probing）来直接使用单词的字典定义来评估单词理解。在我们的实验中，三种流行的预训练语言模型很难匹配单词及其定义。这表明他们对许多单词的理解很差，我们的新探测任务是一个困难的挑战，可以帮助指导未来对LM的研究。
2021-02-06 cs.CL
WiC: the Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations
University of Cambridge（剑桥大学）；Tehran Institute for Advanced Studies (TeIAS)（德黑兰高等研究院（TeIAS））；Cardiff University（卡迪夫大学）
通过设计，词嵌入不能够对词的语义的动态性质进行建模，即，词对应于潜在的不同含义的特性。为了解决这一限制，几十个专门的意义表示技术，如意义或上下文嵌入已被提出。然而，尽管这个主题的研究很受欢迎，很少有评估基准存在，专门专注于动态语义的话。在本文中，我们表明，现有的模型已经超过了标准评估数据集的性能上限，即，斯坦福大学的语境词相似度，并指出其不足之处。为了解决缺乏合适的基准测试的问题，我们提出了一个大规模的Word in Context数据集，称为WiC，基于专家策划的注释，用于上下文敏感表示的通用评估。WiC在https://pilehvar.github.io/wic/上发布。
2019-04-27 cs.CL
AI4Bharat-IndicNLP Corpus: Monolingual Corpora and Word Embeddings for Indic Languages
Microsoft India（微软印度）；IIT Madras（马德拉斯印度理工学院）；AI4Bharat
我们提出了IndicNLP语料库，一个大规模的，通用领域的语料库，包含27亿字的10个印度语言从两个语系。我们分享在这些语料库上训练的预训练词嵌入。我们创建了9种语言的新闻文章类别分类数据集来评估嵌入。我们发现，IndicNLP嵌入在多个评估任务上的表现明显优于公开的预训练嵌入。我们希望语料库的可用性将加速印度NLP研究。这些资源可在https://github.com/ai4bharat-indicnlp/indicnlp_corpus上获得。
2020-04-30 cs.CL
Novel Language Resources for Hindi: An Aesthetics Text Corpus and a Comprehensive Stop Lemma List
Symbiosis Institute of Computer Studies and Research, Symbiosis International (Deemed University)（共生国际（被视为）大学共生计算机研究学院）；Symbiosis Centre for Information Technology, Symbiosis International (Deemed University)（共生国际（被视为）大学共生信息技术中心）
这篇论文是对致力于将非英语语言纳入自然语言处理研究的研究人员所做贡献的补充。两个新的印地语资源已经创建并发布供公众消费。第一个资源是一个语料库，包括近千个预处理的虚构和非虚构文本跨越百年。第二个资源是一个详尽的停止词元列表，由12个跨多个领域的语料库创建，由超过1300万个单词组成，从中产生了超过20万个词元，以及11个公开可用的停止词列表，包括超过1000个单词，从中产生了近400个独特的词元。本研究强调使用停用词元而不是停用词，因为停用词列表中存在一个词的各种但不是所有形态形式，而不是只存在该词的根形式，如果需要，可以从中派生出变化。还观察到，停止词元在多个来源中比停止词更一致。为了生成停止词元列表，研究词元的词性，但是被拒绝，因为发现在频率列表中的单词的等级与其词性之间没有显著的相关性。停止引理列表使用比较方法进行评估。一个正式的评估方法，建议作为未来的工作，从这项研究中产生的。
2020-02-01 cs.CL
Principle Methods of Rendering Non-equivalent Words from Uzbek and Dari to Russian and English
Faryab University（法里亚布大学）
本文研究乌兹别克语和达里语中非等值词向俄语和英语翻译的原则性方法，基于文献研究提出翻译规则，并完成25个非等值词的翻译实践。
2025-08-21 cs.CL
TransDocs: Optical Character Recognition with word to word translation
Cranberry-Lemon University（蔓越莓柠檬大学）
本文提出TransDocs，将OCR与基于LSTM和注意力机制的seq2seq模型结合，在ANKI英西数据集上实现文档翻译，并以BLEU-4评估端到端性能。
2023-04-15 cs.CL cs.CV cs.LG
Bangla Word Clustering Based on Tri-gram, 4-gram and 5-gram Language Model
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
在本文中，我们描述了一种研究方法，产生孟加拉语词集群的基础上，有关的意义在语言和上下文相似性。词聚类的重要性在于词性标注、词义消歧、文本分类、推荐系统、拼写检查、语法检查、知识发现以及许多其他自然语言处理（NLP）应用。在词聚类的历史上，英语和其他一些语言已经实现了一些有效的词聚类方法。但是由于资源的缺乏，孟加拉语的词聚类仍然没有得到有效的实现。目前，其执行工作正处于起步阶段。在一些基于一个关键词的前后五个词的英语词聚类研究中，他们发现了一个有效的结果。现在，我们正在尝试为孟加拉语实现词聚类的三元组，4元组和5元组模型，以观察其中哪一个是最好的。我们已经开始了我们的研究与相当大的语料库约1万孟加拉语单词。我们在这项研究中使用了机器学习技术。我们将生成词聚类，并通过测试一些不同的阈值来分析聚类。
2017-01-27 cs.CL
Utility of General and Specific Word Embeddings for Classifying Translational Stages of Research
NYU Langone Health（纽约大学朗格尼医学中心）
传统的文本分类模型做了一个词袋的假设，将文本减少到每个文档的单词出现计数。最近的算法，如word2vec，能够使用上下文窗口以完全无监督的方式学习单词之间的语义含义和相似性，并且比以前的方法快得多。每个单词都被投影到向量空间中，使得类似意义的单词如“strong”和“powerful”被投影到相同的一般欧几里得空间中。关于这些嵌入的公开问题包括它们在分类任务中的效用以及构建广泛功能嵌入的最佳属性和文档来源。在这项工作中，我们展示了预训练的嵌入在我们的任务中用于分类的有用性，并证明了在域中为任务构建的自定义词嵌入可以提高性能，而不是在更一般的数据（包括新闻文章或维基百科）上学习的词嵌入。
2018-07-09 cs.CL stat.ML
Efficacy of BERT embeddings on predicting disaster from Twitter data
Temple University（天普大学）
像Twitter这样的社交媒体提供了一个共同的平台，可以与其他人分享和交流个人经历。人们经常在社交媒体上发布他们的生活经历，当地新闻和事件，以告知他人。许多救援机构定期监测这类数据，以识别灾害并降低生命风险。然而，人类不可能手动检查大量数据并实时识别灾难。为了这个目的，已经提出了许多研究工作，以机器可理解的表示来呈现单词，并在单词表示上应用机器学习方法来识别文本的情感。以前的研究方法提供了一个单一的表示或嵌入一个词从一个给定的文档。然而，最近提出的高级上下文嵌入方法（BERT）在不同的上下文中为同一个词构造不同的向量。BERT嵌入已成功用于不同的自然语言处理（NLP）任务，但还没有具体分析这些表示如何有助于灾难类型的推文分析。在这项研究工作中，我们探讨了BERT嵌入的Twitter数据预测灾难的功效，并将其与传统的上下文无关的词嵌入方法（GloVe，Skip-gram和FastText）进行了比较。为此，我们使用传统的机器学习方法和深度学习方法。我们为这项研究提供了定量和定性的结果。实验结果表明，与传统的词嵌入方法相比，BERT嵌入方法在灾害预测中具有更好的效果。我们的代码是免费提供给研究界。
2021-08-08 cs.CL cs.LG
Analyzing the Limitations of Cross-lingual Word Embedding Mappings
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
最近对跨语言词嵌入的研究几乎完全集中在离线方法上，这些方法独立地训练不同语言的词嵌入，并通过线性变换将它们映射到共享空间。虽然一些作者质疑基本的同构假设，即不同语言中的词嵌入具有大致相同的结构，但尚不清楚这是映射方法的固有限制还是学习跨语言嵌入时的更普遍问题。为了回答这个问题，我们用平行语料库进行了实验，这使我们能够将离线映射与联合学习两个嵌入空间的skip-gram扩展进行比较。我们观察到，在这些理想的条件下，联合学习收益率更多的同构嵌入，是不太敏感的枢纽，并获得更强的双语词典归纳的结果。因此，我们得出结论，目前的映射方法确实有很大的局限性，需要进一步的研究，以共同学习跨语言嵌入较弱的跨语言信号。
2019-06-12 cs.CL cs.LG
Evaluation of Croatian Word Embeddings
University of West Bohemia（西波西米亚大学）；University of Rijeka（里耶卡大学）
克罗地亚语是斯拉夫语系的一种资源贫乏且高度曲折的语言。目前，研究主要集中在英语上。我们创建了一个新的词类比语料库的基础上，原来的英语Word2vec词类比语料库，并添加了一些具体的语言方面的克罗地亚语。接下来，我们创建了克罗地亚语WordSim353和RG65语料库，用于单词相似性的基本评估。我们比较了基于Word2Vec工具和基于fastText工具的两种流行的词表示模型所创建的语料库。模型已在1.37 B令牌训练数据语料库上进行了训练，并在一个新的强大的克罗地亚语单词类比语料库上进行了测试。结果表明，模型能够创建有意义的单词表示。这项研究表明，自由的词序和克罗地亚语的形态复杂性较高的影响质量的词嵌入。
2017-11-07 cs.CL
Machine Translation with Cross-lingual Word Embeddings
利用分布信息学习词嵌入是一个被许多研究者研究的课题，并且在文献中报道了大量的研究。相反，对多种语言的研究较少。其思想是专注于一对语言的单一表示，使得语义相似的单词在诱导表示中彼此更接近，而不管语言如何。通过这种方式，当特定语言的数据丢失时，可以使用另一种语言的分类器。
2020-04-14 cs.CL cs.LG
Neural Word Segmentation with Rich Pretraining
Singapore University of Technology and Design（新加坡科技设计大学）
神经分词研究通过利用大规模原始文本进行字符和词嵌入的预训练而受益。另一方面，统计分词研究利用了更丰富的外部信息源，如标点符号、自动分词和词性。我们通过构建一个模块化的分词模型，使用丰富的外部资源对最重要的子模块进行预训练，研究了一系列外部训练源对神经分词的有效性。结果表明，这样的预训练显着提高了模型，导致精度竞争的最佳方法在六个基准。
2017-04-28 cs.CL
Using Context to Improve Word Segmentation
本文复现并扩展Goldwater等人的unigram与bigram统计切分模型，验证上下文能提升词语切分，并探索幼儿利用已学词语切分新话语的基本机制。
2025-03-13 cs.CL
Innovation and Word Usage Patterns in Machine Learning
University of Brasilia（巴西利亚大学）；Machine Learning Laboratory in Finance and Organizations (LAMFO), University of Brasilia（金融与组织机器学习实验室（LAMFO），巴西利亚大学）；Tutorial Education Program (PET), University of Brasilia（辅导教育计划（PET），巴西利亚大学）；National Institute of Science and Technology for Complex Systems (INCT-SC), University of Brasilia（国家复杂系统科学技术研究所（INCT-SC），巴西利亚大学）
本研究利用Latent Dirichlet Allocation识别机器学习领域核心主题，结合Kullback-Leibler Divergence量化研究新颖性，以此追踪主题演化轨迹，明确研究者与学术平台的关键作用。
2023-11-07 cs.CL cs.LG
Comparative Analysis of Word Embeddings for Capturing Word Similarities
Faculty of Computer Science and Engineering, Ss. Cyril and Methodius University（圣西里尔与圣美多迪乌斯大学计算机科学与工程学院）
分布式语言表示已经成为各种自然语言处理任务中最广泛使用的语言表示技术。大多数基于深度学习技术的自然语言处理模型使用已经预先训练的分布式单词表示，通常称为词嵌入。确定最定性的词嵌入对于此类模型至关重要。然而，选择适当的词嵌入是一个复杂的任务，因为投影的嵌入空间是不直观的人。在本文中，我们探讨了不同的方法来创建分布式单词表示。我们执行几个国家的最先进的词嵌入方法的内在评价。它们在捕获词相似性方面的性能与现有的词对相似性基准数据集进行了分析。本文对不同词嵌入方法获得的相似度与真实词相似度进行了相关性分析。
2020-05-08 cs.CL cs.LG
A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong（香港城市大学）
词嵌入已经成为自然语言处理的关键，因为它提高了各种任务的经验表现。然而，最近的研究发现，性别偏见是纳入神经词嵌入，下游任务，依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法，这些方法主要集中在减少与性别方向相关的性别偏见，并未能减少词嵌入关系中呈现的性别偏见。在本文中，我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系，利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings
RWTH Aachen（亚琛工业大学）；L3S Research Center（L3S研究中心）；University of Mannheim（曼海姆大学）；GESIS（盖泽斯社会科学研究所）；CSH Vienna（维也纳复杂科学中心）
为词嵌入添加可解释性是文本表示的一个活跃研究领域。最近的工作已经探索了通过所谓的极性维度（例如好与坏，正确与错误）嵌入单词的潜力。这些最近的方法的例子包括SemAxis、POLAR、FrameAxis和BiImp。虽然这些方法为词提供了可解释的维度，但它们并不是为了处理一词多义而设计的，即它们不能很容易地区分词的不同意义。为了解决这个问题，我们提出了SensePOLAR，原来的POLAR框架的扩展，使预先训练的上下文词嵌入的词义感知可解释性。由此产生的可解释的词嵌入实现的性能水平，可与原始的上下文词嵌入在各种自然语言处理任务，包括GLUE和SQuAD基准。我们的工作消除了现有方法的一个根本限制，为用户提供上下文词嵌入的感知解释。
2023-01-11 cs.CL cs.LG
Polyglot: Distributed Word Representations for Multilingual NLP
Stony Brook University（石溪大学）
分布式词表示（词嵌入）最近在语言建模和几个NLP任务中的竞争性能做出了贡献。在这项工作中，我们训练词嵌入超过100种语言使用相应的维基百科。我们定量地证明了我们的词嵌入的效用，通过使用它们作为训练这些语言的一个子集的词性标注器的唯一功能。我们发现他们的表现与英语，丹麦语和瑞典语的最先进方法相比具有竞争力。此外，我们调查的语义特征，这些嵌入通过接近的词组。我们将公开发布这些嵌入，以帮助研究人员开发和增强多语言应用程序。
2014-06-27 cs.CL cs.LG
A Comparative Study of Word Embeddings for Reading Comprehension
Carnegie Mellon University（卡内基梅隆大学）
过去针对阅读理解任务的机器学习研究的重点主要是设计新颖的深度学习架构。在这里，我们表明，在（1）使用预先训练的词嵌入和（2）在测试时表示词汇表外的标记上所做的看似次要的选择，可能会对最终性能产生比架构选择更大的影响。我们系统地探讨了这些选择的几种选择，并为在这一领域工作的研究人员提供建议。
2017-03-02 cs.CL
A Robust Self-Learning Method for Fully Unsupervised Cross-Lingual Mappings of Word Embeddings: Making the Method Robustly Reproducible as Well
在本文中，我们重现了Artetxe等人的实验。（2018 b）关于词嵌入的完全无监督跨语言映射的鲁棒自学习方法。我们表明，他们的方法的复制确实是可行的一些小的假设。我们通过引入四种新的语言来进一步研究他们的模型的鲁棒性，这些语言与原始论文提出的语言相比与英语不太相似。为了评估他们的模型的稳定性，我们还对敏感的超参数进行了网格搜索。然后，我们提出适用于任何研究项目的关键建议，以提供完全可重复的研究。
2020-03-03 cs.CL cs.LG stat.ML
Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks
Indian Institute of Science（印度科学学院）；Microsoft Research（微软研究院）；IIT Kanpur（印度理工学院坎普尔分校）；Carnegie Mellon University（卡内基梅隆大学）
词嵌入已经在几个NLP应用程序中被广泛采用。大多数现有的词嵌入方法利用词的顺序上下文来学习其嵌入。虽然已经有一些尝试利用一个词的句法上下文，这样的方法导致词汇量的爆炸。在本文中，我们克服了这个问题，提出了SynGCN，一个灵活的图形卷积为基础的方法学习词嵌入。SynGCN利用单词的依赖上下文，而不增加词汇量。SynGCN学习的词嵌入在各种内在和外在任务上优于现有方法，并在与ELMo一起使用时提供优势。我们还提出了SemGCN，一个有效的框架，将不同的语义知识，进一步提高学习单词表示。我们提供这两种模型的源代码，以鼓励可重复的研究。
2019-07-20 cs.CL cs.LG
A Survey Of Cross-lingual Word Embedding Models
National University of Ireland（爱尔兰国立大学）；Aylien Ltd.（Aylien有限公司）；University of Cambridge（剑桥大学）；University of Copenhagen（哥本哈根大学）
词的跨语言表示使我们能够在多语言环境中推理词义，并且在为低资源语言开发自然语言处理模型时，它是跨语言迁移的关键促进因素。在本综述中，我们提供了一个全面的跨语言词嵌入模型的类型学。我们比较了它们的数据要求和目标函数。该调查的主题是，文献中提出的许多模型都是针对相同的目标进行优化的，并且看似不同的模型通常是等效的模优化策略，超参数等。我们还讨论了不同的方法，跨语言的词嵌入进行评估，以及未来的挑战和研究视野。
2019-10-06 cs.CL cs.LG
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Diachronic word embeddings and semantic shifts: a survey
University of Oslo（奥斯陆大学）；ANZ（澳新银行）
近年来出现了大量的论文，旨在使用分布方法，特别是基于预测的词嵌入模型来追踪词汇语义的时间变化。然而，这种研究缺乏凝聚力，共同的术语和共同的做法，更成熟的领域自然语言处理。本文综述了历时词嵌入和语义转移检测的研究现状。我们从讨论语义转移的概念开始，然后继续概述现有的方法来跟踪这种与时间相关的转移与词嵌入模型。我们提出了几个轴，沿着这些方法可以进行比较，并概述了这个新兴的NLP子领域的主要挑战，以及前景和可能的应用。
2018-06-13 cs.CL
Word sense disambiguation: a survey
Jadavpur University（贾达普大学）
本文对词义消歧技术进行了综述。世界上几乎所有的主要语言都对词义消歧进行了不同程度的研究。在本文中，我们已经通过了一个调查，在不同的研究工作中采用的不同方法，在这一领域的表现，在不同的印度语言，最后在孟加拉语的调查最近的作品的艺术状态。我们对这一领域的各种比赛以及从这些比赛中获得的基准结果进行了调查。
2015-08-06 cs.CL
Mining Word Boundaries in Speech as Naturally Annotated Word Segmentation Data
Institute of Artificial Intelligence, School of Computer Science and Technology（人工智能研究所，计算机科学与技术学院）；Soochow University（苏州大学）；Huawei Cloud（华为云）
本文首次提出从平行语音/文本数据中利用停顿时长挖掘词边界作为自然标注，并设计“先补全后训练”策略，显著提升中文分词在跨领域和低资源场景下的性能。
2023-10-30 cs.CL
Improving the Accuracy of Pre-trained Word Embeddings for Sentiment Analysis
University of Waterloo（滑铁卢大学）；University of Tehran（德黑兰大学）
情感分析是自然语言处理和文本分类领域的一个重要研究课题。这种技术已经成为广泛应用的重要组成部分，包括政治，商业，广告和营销。情感分析有多种技术，但最近词嵌入方法已被广泛用于情感分类任务。Word 2 Vec和GloVe是目前最准确和可用的词嵌入方法之一，可以将词转换为有意义的向量。然而，这些方法忽略了文本的情感信息，并且需要大量的文本来训练和生成精确的向量，这些向量被用作深度学习模型的输入。因此，由于某些语料库的规模较小，研究人员往往不得不使用预先训练好的词嵌入，这些词嵌入是在其他大型文本语料库（如Google News）上训练的，大约有1000亿个词。预训练词嵌入准确性的提高对情感分析研究产生了很大的影响。在本文中，我们提出了一种新的方法，改进的词向量（IWV），它提高了情感分析中的预训练词嵌入的准确性。我们的方法是基于词性（POS）标记技术，基于词汇的方法和Word 2 Vec/GloVe方法。我们通过不同的深度学习模型和情感数据集测试了我们方法的准确性。实验结果表明，改进的词向量（IWV）是非常有效的情感分析。
2017-11-23 cs.CL cs.IR
Mining Word Boundaries from Speech-Text Parallel Data for Cross-domain Chinese Word Segmentation
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
本研究首次提出从语音-文本平行数据中挖掘词边界用于跨域中文分词，通过MFA工具对齐得到候选边界，结合概率过滤策略和CTT训练策略，在ZX、AISHELL2两个域的实验验证了方法有效性。
2024-12-12 cs.CL
A Primer on Word Embeddings: AI Techniques for Text Analysis in Social Work
University of Michigan（密歇根大学）；Wayne State University（韦恩州立大学）；Tianjin University of Technology（天津理工大学）
本文向社会工作研究者介绍词嵌入技术，阐述其如何通过语义搜索、聚类和检索增强生成等方法增强文本分析工作流程，并指出需开发领域特定模型与符合伦理的最佳实践以推动研究与服务。
2024-11-11 cs.CL
word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method
Tomas Mikolov及其同事的word2vec软件（code.google.com/p/word2vec/）最近获得了很大的吸引力，并提供了最先进的词嵌入。该软件背后的学习模型在两篇研究论文中进行了描述。我们发现这些论文中对模型的描述有些晦涩难懂。虽然动机和演示对于神经网络语言建模人群来说可能是显而易见的，但我们不得不努力找出方程式背后的基本原理。本文试图解释Tomas Mikolov，Ilya Sutskever，Kai Chen，Greg Corrado和Jeffrey Dean的“Distributed Representations of Words and Phrases and their Compositionality”中的公式（4）（负采样）。
2014-02-15 cs.CL cs.LG stat.ML
On Evaluation of Bangla Word Analogies
Auburn University（奥本大学）
本文针对低资源的孟加拉语，提出了包含16678个样本的Mikolov风格词汇类比评估集及10594个样本的跨语言版本，实验表明现有嵌入模型表现不佳，为构建可靠NLP系统奠定基础。
2023-04-10 cs.CL
Onto Word Segmentation of the Complete Tang Poems
National Chengchi University（国立政治大学）
我们的目标是对《全唐诗》中的词进行切分。虽然可以在不进行全面分词的情况下对CTP进行一些研究，但为了进行高级研究，我们必须向前推进CTP的词级分析。2018年11月，当我们为DH 2019（ADHO）提交稿件时，我们只收集了2433首由训练有素的专家分割的诗歌，并使用分割的诗歌来评估考虑中国诗歌领域知识的分割器。我们基于CTP诗歌（不包括2433首诗，这是专门用于测试）和领域知识训练汉字之间的逐点互信息（PMI）。切分器依靠PMI信息，对测试诗中85.7%的词进行了切分。然而，我们可以完全正确地分割一首诗的概率只有17.8%。当我们在DH 2019上展示我们的工作时，我们已经注释了20000多首诗。有了大量的数据，我们能够将biLSTM模型应用于这个分词任务，我们在20%以上的时间内完全正确地分割了一首诗。相比之下，人类注释者在大约40%的时间内完全同意他们的注释。
2019-08-28 cs.AI cs.CL cs.LG
Explaining word embeddings with perfect fidelity: Case study in research impact prediction
Department of Econometrics, Prague University of Economics and Business（经济计量学系，布拉格经济大学）；Environmental Genomics and Systems Biology Division, Lawrence Berkeley National Laboratory（环境基因组与系统生物学部，劳伦斯伯克利国家实验室）；Department of System Analysis, Prague University of Economics and Business（系统分析系，布拉格经济大学）；Department of Information and Knowledge Engineering, Prague University of Economics and Business（信息与知识工程系，布拉格经济大学）
针对词嵌入逻辑回归分类器解释保真度不足的问题，本文提出 SMER 特征重要性方法，并在 CORD-19 的 5 万篇论文上证明其具有完美理论保真度且优于 LIME、SHAP 等方法。
2025-08-28 cs.CL
word representation or word embedding in Persian text
文本处理是自然语言处理的一个分支。最近，机器学习和神经网络方法的使用得到了更多的考虑。因此，文字的表现变得非常重要。本文介绍的是波斯语文本中的单词表示或将单词转换为矢量。在这项研究中，GloVe，CBOW和skip-gram方法更新，以产生嵌入向量的波斯语单词。为了训练一个神经网络，我们将Bijankhan语料库、Hamshahri语料库和UPEC语料库进行了合成和使用。最后，我们有342，362个单词在所有三个模型中获得了这些单词的向量。这些向量在波斯语自然语言处理中有许多用途。
2017-12-18 cs.CL
Analysis of Male and Female Speakers' Word Choices in Public Speeches
University of Groningen（格罗宁根大学）
男性和女性使用语言的差异程度以前曾受到质疑。在语言中发现明确和一致的性别差异通常不是结论性的，研究受到用于确定差异的上下文和方法的严重影响。此外，大多数研究是以书面形式进行的，样本是以书面形式收集的。因此，我们比较了男性和女性演讲者在TED演讲等公开演讲中的词汇选择。许多类型的词，如词性（POS），语言，心理和认知术语的频率进行了统计分析，以确定男性和女性说话者如何使用不同的词。根据我们的数据，我们确定男性使用特定类型的语言，心理，认知和社会的话在相当大的频率比女性发言者。
2022-11-11 cs.CL stat.AP
Problems With Evaluation of Word Embeddings Using Word Similarity Tasks
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
由于缺乏用于词的向量表示的标准化外部评估方法，NLP社区严重依赖于词相似性任务作为词向量的内在评估的代理。词语相似性评估将向量之间的距离与人类对语义相似性的判断相关联，这是有吸引力的，因为它在计算上是廉价的且快速的。在本文中，我们提出了几个问题与词相似度数据集上的词向量的评估，并总结现有的解决方案。我们的研究表明，使用词相似度任务来评估词向量是不可持续的，需要进一步研究评估方法。
2016-06-22 cs.CL
Edeflip: Supervised Word Translation between English and Yoruba
本研究针对低资源语言约鲁巴语实现有监督嵌入对齐的单词翻译，发现嵌入质量与归一化可提升准确率且存在交互效应，揭示了该方法在低资源场景的局限性，为相关研究提供起点。
2025-06-16 cs.AI cs.CL cs.LG
Evaluation of Greek Word Embeddings
Athens University of Economics and Business（雅典经济与商业大学）
由于词嵌入是许多NLP任务中最受欢迎的输入，因此评估其质量至关重要。大多数的研究工作都集中在英语词嵌入。本文讨论的问题，构建和评估这种模型的希腊语言。我们创建了一个新的词类比语料库，考虑到原来的英语Word2vec词类比语料库和希腊语的一些特定的语言方面，以及。此外，我们还创建了一个希腊语版本的WordSim353语料库，用于单词相似性的基本评估。我们测试了七个词向量模型，我们的评估表明，我们能够创建有意义的表示。最后，我们发现希腊语的形态复杂性和一词多义会影响所得到的词嵌入的质量。
2020-04-04 cs.CL
From words to connections: Word use similarity as an honest signal conducive to employees' digital communication
从三个研究趋势（合作的诚实信号，社会语义网络和同质性理论）的考虑，我们假设，使用词的相似性和具有类似的社交网络的位置与员工的数字互动的水平。为了验证我们的假设，我们分析了近1600名员工的沟通，互动的内部网通信论坛的一家大公司。我们研究了他们的社会动态和“诚实信号”，在过去的研究中，这些信号被证明有利于员工的参与和协作。我们发现，词汇使用相似性是互动的主要驱动力，远远超过其他语言特征或相似性的网络位置。我们的研究结果表明，仔细选择的语言，根据目标受众和公司管理人员和在线社区管理员有实际意义。例如，了解如何更好地使用语言可以支持知识共享实践或内部沟通活动的发展。
2021-11-11 cs.CL cs.SI physics.soc-ph
Grammatical gender associations outweigh topical gender bias in crosslinguistic word embeddings
Babbel（巴巴贝尔（语言学习公司））
最近的研究表明，语义的向量空间模型可以反映人类文化中不受欢迎的偏见。我们对跨语言词嵌入的研究表明，主题性别偏见与语法性别联想的影响相互作用，并且在程度上被语法性别联想的影响所超越，并且两者都可以通过语料库词形化来减弱。这一发现对诸如机器翻译等下游应用具有启示意义。
2020-05-18 cs.CL
Research on Optimization of Natural Language Processing Model Based on Multimodal Deep Learning
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰霍普金斯大学）；Marquette University（马凯特大学）；New York University（纽约大学）
本文提出融合注意力机制、多模态数据、Word2Vec与卷积神经网络的NLP模型优化方法，可降低预处理复杂度并增强图像特征表示。
2024-06-13 cs.AI cs.CL cs.LG
Gender Bias Hidden Behind Chinese Word Embeddings: The Case of Chinese Adjectives
Uppsala University（乌普萨拉大学）
词嵌入中的性别偏见近年来逐渐成为一个活跃的研究领域。这一领域的大多数研究都是以英语为目标语言的测量和去偏置方法。本文从汉语形容词这一独特的视角考察静态词嵌入中的性别偏见。通过使用不同的模型训练单词表示，评估形容词向量背后的性别偏见。通过比较产生的结果和人类评分的数据集，我们展示了性别偏见编码的词嵌入区别于人们的态度。
2021-06-01 cs.CL
Analyzing the Surprising Variability in Word Embedding Stability Across Languages
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
词嵌入是一种强大的表示方法，它构成了英语和其他语言中许多自然语言处理架构的基础。为了进一步深入了解词嵌入，我们探讨了它们的稳定性（例如，不同嵌入空间中单词的最近邻之间的重叠）。我们讨论了与稳定性相关的语言特性，并提出了与词缀、语言性别系统和其他特征相关的见解。这对嵌入使用有影响，特别是在使用它们来研究语言趋势的研究中。
2021-09-09 cs.CL
Toward Zero Oracle Word Error Rate on the Switchboard Benchmark
Mod9 Technologies（Mod9科技公司）
“Switchboard benchmark”是自动语音识别（ASR）研究中非常知名的测试集，为声称具有人类水平转录准确性的系统建立了创纪录的性能。这项工作突出了鲜为人知的实际考虑，这一评价，证明了重大改进的字错误率（WER）通过纠正参考transmittance和偏离官方的评分方法。在这个更详细和可重复的计划中，即使是商业ASR系统也可以获得低于5%的WER，而研究系统的既定记录则降低到2.3%。提出了转录精确度的替代度量，其不惩罚缺失，并且似乎对人类与机器性能更具区分性。虽然商业ASR系统仍然低于这一阈值，研究系统显示出明显超过商业人类语音识别的准确性。这项工作还探讨了使用标准化的评分工具来计算甲骨文WER选择最好的替代品列表中。一个短语的替代品表示相比，话语级的N-最好的列表和单词级的数据结构，使用密集的格子，并添加词汇表外的话，这实现了0.18%的甲骨文WER。
2022-06-27 cs.CL cs.SD eess.AS
Around the world in 60 words: A generative vocabulary test for online research
Max Planck Institute for Empirical Aesthetics（马克斯·普朗克经验美学研究所）；Ernst Strüngmann Institute for Neuroscience（恩斯特·斯特吕格曼神经科学研究所）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Princeton University（普林斯顿大学）；University of Augsburg（奥格斯堡大学）
用不同的参与者的母语进行实验可以揭示文化，认知和语言的见解，否则可能无法揭示。然而，在线进行这些实验很难验证自我报告的语言能力。此外，现有的水平测试规模小，只涵盖几种语文。我们提出了一个自动化的管道，使用维基百科的文本生成词汇测试。我们的管道对稀有名词进行采样，并使用相同的低级统计数据创建伪词。在六个国家和八种语言的六个行为实验（N=236）表明：（a）我们的测试可以区分母语的密切相关的语言，（b）测试是可靠的（$r=0.82$），（c）性能与现有的测试（LexTale）和自我报告密切相关。我们进一步表明，测试的准确性是负相关的语言距离之间的测试和母语。我们的测试有八种语言版本，可以很容易地扩展到其他语言。
2023-02-03 cs.CL
