Comparing in context: Improving cosine similarity measures with a metric tensor
Utrecht University（乌得勒支大学）
余弦相似性是一种广泛使用的预训练词嵌入的相关性度量，该词嵌入是在语言建模目标上训练的。WordSim-353和SimLex-999等数据集根据人类注释者对单词的相似程度进行评级，因此通常用于评估语言模型的性能。因此，对单词相似性任务的任何改进都需要改进的单词表示。在本文中，我们建议使用扩展余弦相似性度量来提高该任务的性能，并获得可解释性。我们探讨的假设，这种方法是特别有用的，如果单词相似性对共享相同的上下文，不同的上下文相似性措施可以学习。我们首先使用Richie et al.（2020）的数据集来学习情境化指标，并将结果与使用标准余弦相似性度量获得的基线值进行比较，这始终显示出改进。我们还训练了SimLex-999和WordSim-353的上下文相似性度量，将结果与相应的基线进行比较，并将这些数据集用作在上下文数据集上学习的所有上下文相似性度量的独立测试集，获得了一些测试的积极结果。
2022-03-28 cs.CL cs.LG
Comparing Performance of Different Linguistically-Backed Word Embeddings for Cyberbullying Detection
在大多数情况下，词嵌入仅从原始标记或在某些情况下从词元学习。这包括预先训练的语言模型，如BERT。为了研究捕捉词项和结构之间更深层次关系的潜力，并过滤掉冗余信息，我们建议将形态，句法和其他类型的语言信息与原始标记或词元相结合。例如，这意味着在所使用的词汇特征中包括词性或依存关系信息。然后可以在组合上训练词嵌入，而不仅仅是原始标记。以后也可以将这种方法应用于大型语言模型的预训练，并可能提高它们的性能。这将有助于解决从语言表现的角度来看更为复杂的问题，如发现网络欺凌。
2022-06-04 cs.AI cs.CL cs.LG
Bad Form: Comparing Context-Based and Form-Based Few-Shot Learning in Distributional Semantic Models
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；TechWolf
词嵌入是广泛的自然语言处理应用中的重要组成部分。然而，分布式语义模型是已知的斗争时，只有少量的上下文句子。已经提出了几种方法来获得这些单词的更高质量的向量，利用上下文信息，有时通过混合方法形成单词本身。我们表明，目前的任务不足以评估使用单词形式信息的模型，因为这样的模型可以很容易地利用单词形式的训练数据，相关的单词形式的测试数据。我们引入了3个新任务，允许模型之间进行更平衡的比较。此外，我们还发现，在以前的工作中基本上被忽略的超参数可以持续提高基线和高级模型的性能，在6个任务中有4个任务达到了新的水平。
2019-10-01 cs.CL cs.LG
Comparing CNN and LSTM character-level embeddings in BiLSTM-CRF models for chemical and disease named entity recognition
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
我们比较了在BiLSTM-CRF模型中使用基于LSTM和基于CNN的字符级词嵌入来处理化学和疾病命名实体识别（NER）任务。BioCreative V CDR语料库的实证结果表明，使用任何一种类型的字符级词嵌入与BiLSTM-CRF模型相结合，导致相当的最先进的性能。然而，使用基于CNN的字符级词嵌入的模型具有计算性能优势，比基于词的模型增加了25%的训练时间，而基于LSTM的字符级词嵌入是所需训练时间的两倍多。
2018-08-25 cs.CL
Comparing morphological complexity of Spanish, Otomi and Nahuatl
我们使用两个小的平行语料库比较西班牙语，奥托米语和纳瓦特尔语的形态复杂性。这些语言属于不同的语系，后者资源较少。我们考虑了两个定量标准，一方面是分布的类型在语料库中的令牌，另一方面，困惑和熵作为指标的词结构的可预测性。我们表明，一种语言可以是复杂的，有多少不同的形态词的形式可以产生，然而，它可能是不那么复杂的，其内部结构的单词的可预测性。
2018-08-13 cs.CL
Comparing Neural- and N-Gram-Based Language Models for Word Segmentation
Universidade de Vigo（维戈大学）；Universidade da Coruña（拉科鲁尼亚大学）
分词是插入或删除词的边界字符，以分离字符序列对应的词在某种语言的任务。在这篇文章中，我们提出了一种方法的基础上的束搜索算法和语言模型工作在字节/字符级，后者的组件实现为一个n-gram模型或递归神经网络。所得到的系统一次一个标记地分析没有单词边界的文本输入，该标记可以是字符或字节，并且使用由语言模型收集的信息来确定是否必须将边界放置在当前位置。我们的目标是使用这个系统在一个预处理步骤的缩微文本规范化系统。这意味着它需要有效地处理这种文本上存在的数据稀疏性。我们还努力超越两个现成的分词系统的性能：微软著名的和可访问的Word Breaker，以及Grant Jenks的Python模块WordSegment。结果表明，我们已经达到了我们的目标，我们希望在未来继续提高我们的系统的精度和效率。
2018-12-03 cs.CL
Comparing Fifty Natural Languages and Twelve Genetic Languages Using Word Embedding Language Divergence (WELD) as a Quantitative Measure of Language Distance
University of California, Berkeley（加州大学伯克利分校）
我们引入了一种新的基于词嵌入的语言间距离度量，称为词嵌入语言分歧（WELD）。WELD定义为不同语言之间词汇相似性分布的差异。使用这样的措施，我们进行语言比较的50个自然语言和12个遗传语言。我们的自然语言数据集是一个从圣经翻译的跨各种语系的50种语言的平行语料库的集合。尽管我们使用并行语料库，可以保证所有语言都有相同的内容，但有趣的是，在许多情况下，同一家族中的语言会聚集在一起。除了自然语言之外，我们还对12种不同生物（4种植物，6种动物和2种人类）基因组中的编码区进行了语言比较。我们的结果证实了人类/动物与植物的遗传语言模型存在显著的高水平差异。所提出的方法是一个步骤，以定义一个定量的语言之间的相似性度量，在语言分类，体裁识别，方言识别和评估的翻译应用。
2016-04-28 cs.CL
CompText: Visualizing, Comparing & Understanding Text Corpus
UC Davis（加州大学戴维斯分校）
自然语言处理（NLP）中的一种常见做法是在不通读整个文献的情况下可视化文本语料库，仍然抓住所描述的中心思想和关键点。长期以来，研究者们致力于从文本中提取主题，并根据主题在语料库中的相对重要性将其可视化。然而，最近，研究人员开始提出更复杂的系统，不仅暴露了语料库的主题，还暴露了与主题密切相关的词，为用户提供了一个整体视图。这些详细的可视化催生了基于可视化的文本语料库比较研究。主题经常被比较以理想化语料库之间的差异。然而，为了从不同的语料库中获取更大的语义，研究人员已经开始根据与文本相关的主题的情感来比较文本。通过比较权重最大的词，可以了解语料库的重要主题。有多种现有的文本比较方法，目前比较的主题，而不是情绪，但我们认为，专注于情感携带的话会更好地比较两个语料库。因为只有情感才能解释文本的真实感受，而不仅仅是主题，没有情感的主题只是名词。我们的目标是区分语料库，重点是情感，而不是比较所有的话出现在两个语料库。这背后的基本原理是，这两个语料库没有多少相同的词进行并排比较，所以比较情感词给我们一个想法，语料库是如何吸引读者的情感。我们可以认为，熵或主题的意外性和分歧也应该是重要的，并帮助我们确定关键的支点和语料库中某些主题的重要性以及相对情绪。
2022-07-27 cs.CL
Comparing Moral Values in Western English-speaking societies and LLMs with Word Associations
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；Complex Human Data Hub, The University of Melbourne（墨尔本大学复杂人类数据中心）
为避免直接提示的局限性，本研究提出利用词汇联想作为底层表征，通过在人类与LLM联想图中传播Moral Foundation Theory的种子词，系统比较了西方英语社会与LLM在道德价值观上的差异。
2025-05-28 cs.CL
Leverage Points in Modality Shifts: Comparing Language-only and Multimodal Word Representations
本文大规模比较CLIP等视觉-语言模型与FastText、BERT等纯文本模型的词嵌入，借助46个语义参数识别视觉落地影响语言表征的关键词汇属性。
2023-06-04 cs.CL
A Data-driven Investigation of Euphemistic Language: Comparing the usage of "slave" and "servant" in 19th century US newspapers
Nanyang Technological University（南洋理工大学）
本研究借助计算方法分析19世纪美国Chronicling America语料库，发现南北报纸对slave和servant的使用关联语义与传播范围存在差异，揭示了当时报纸围绕被奴役非裔美国人构建的不同话语。
2025-03-19 cs.CL
Comparing intermittency and network measurements of words and their dependency on authorship
University of São Paulo（圣保罗大学）；Max Planck Institute for the Physics of Complex Systems（马克斯·普朗克复杂系统物理研究所）
文本和语言中的许多特征现在可以通过使用复杂网络和动力系统中的概念进行统计分析来推断。在本文中，我们量化的词共现网络的拓扑性质和词分布的不稳定性（或突发性）取决于作者的风格。我们的数据库包含来自19世纪和20世纪的8位作者的40本书，获得了以下网络测量：聚类系数，平均最短路径长度和介数。我们发现，两个因素与作者的依赖性较强的偏度分布的词不连贯性和平均最短路径。其他因素，如介数和齐普夫定律指数显示只有弱依赖于作者。还评估了使用三种机器学习方法的每种测量对作者识别的贡献。最好的表演是一个CA。将复杂网络和不确定性特征与最近邻算法相结合后，准确率达到65%。从各种指标的相互依赖性的详细分析得出结论，这里使用的方法是互补的，提供短期和长期的文本，这是有用的应用程序，如识别的主题词和信息检索的角度来看。
2011-12-28 cs.CL cs.SI physics.data-an
Query-by-Example Search with Discriminative Neural Acoustic Word Embeddings
TTI-Chicago（芝加哥丰田技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
逐例查询搜索通常使用动态时间规整（DTW）来比较查询和建议的匹配段。最近的工作表明，通过将语音片段表示为固定维向量--声学词嵌入--并测量它们的向量距离（例如，余弦距离）可以比基于DTW的方法更准确地区分单词。我们考虑了一种按示例查询搜索的方法，该方法根据神经模型嵌入查询和数据库段，然后进行最近邻搜索以找到匹配的段。早期的基于嵌入的查询的例子，使用基于模板的声学词嵌入，取得了竞争力的表现。我们发现，我们的嵌入，基于循环神经网络训练，以优化单词的歧视，实现了性能和运行时效率的显着改善，比以前的方法。
2017-06-12 cs.CL
Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change
Stanford University（斯坦福大学）
词汇的意义变化有很多原因，包括文化因素，如新技术和常规的语言过程，如主观化。理解语言和文化的演变需要解开这些潜在的原因。在这里，我们将展示如何使用两种不同的分布措施来检测两种不同类型的语义变化。第一个措施，这已经在许多以前的作品中使用，分析一个词的分布语义的全球变化，它是敏感的变化，由于语言漂移的常规过程，如语义概括的承诺（“我承诺。”--“它保证会令人兴奋。").第二个衡量标准，我们在这里开发的，重点是一个词的最近的语义邻居的本地变化;它是更敏感的文化转变，如细胞的意义的变化（“监狱细胞”->“手机”）。通过比较这两种方法所做的测量，研究人员可以确定变化在本质上是更多的文化还是语言，这一区别对于数字人文和历史语言学的工作至关重要。
2016-09-24 cs.CL
Comparing phonemes and visemes with DNN-based lipreading
University of East Anglia（东英吉利大学）；University of East London（东伦敦大学）
对于唇读系统来说，音素或视位单位是否是最有效的还存在争议。一些研究使用音素单位，即使音素描述独特的短声音;其他研究试图提高唇读的准确性，专注于不同的结果视位。我们比较了唇读系统的性能建模视觉语音使用13视位或38音素单位。我们报告的准确性，我们的系统在两个字和单位的水平。评价任务是使用TCD-TIMIT语料库的大词汇量连续语音。我们完成了我们的视觉语音建模，通过混合DNN-Hyndrome和我们的视觉语音解码器是一个加权的双态转换器（WFST）。我们使用DCT和Eigenlips作为口部ROI图像的表示。音素唇读系统的准确率优于视位系统的准确率。然而，音素系统在单元级别上实现了较低的准确性，这表明了字典对于将分类输出解码成单词的重要性。
2018-05-08 cs.CL cs.CV cs.SD
Towards hate speech detection in low-resource languages: Comparing ASR to acoustic word embeddings on Wolof and Swahili
Stellenbosch University（斯泰伦博斯大学）；Universitat Pompeu Fabra（庞培法布拉大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Cape Town（开普敦大学）；VoxCroft Analytics（VoxCroft分析公司）
本文比较低资源语言仇恨言论关键词识别中的 ASR 与多语言 AWE，发现同域小样本 ASR 更优，而真实广播场景下 AWE 更稳健。
2023-06-01 cs.CL cs.SD eess.AS
An Unsupervised Character-Aware Neural Approach to Word and Context Representation Learning
University of Siena（锡耶纳大学）；University of Firenze（佛罗伦萨大学）
在过去的几年中，神经网络已被广泛用于开发有意义的单词和上下文的分布式表示。当这些表征，也被称为“嵌入”，从无监督的大型语料库中学习，它们可以被转移到不同的任务中，在性能方面具有积极的影响，特别是当只有少数监督可用时。在这项工作中，我们进一步扩展了这一概念，并提出了一种无监督的神经架构，它可以联合学习单词和上下文嵌入，将单词作为字符序列进行处理。这使得我们的模型能够发现由于单词形态而导致的错误，并避免需要固定大小的单词输入词汇表。我们表明，我们可以学习紧凑的编码器，尽管参数数量相对较少，但在下游任务中达到高水平的性能，将它们与相关的最先进的方法或完全监督的方法进行比较。
2019-07-19 cs.CL cs.LG stat.ML
Are Character-level Translations Worth the Wait? Comparing ByT5 and mT5 for Machine Translation
University of Groningen（格罗宁根大学）；Center for Language and Cognition（语言与认知中心）
本研究比较字符级ByT5与子词级mT5在神经机器翻译中的表现，发现字符级模型在有限微调数据下更优，能更好翻译相似词和稀有词，但需权衡效率，适合非时间关键场景。
2024-01-26 cs.CL
Comparing Unidirectional, Bidirectional, and Word2vec Models for Discovering Vulnerabilities in Compiled Lifted Code
Dakota State University（达科塔州立大学）；University of Arizona（亚利桑那大学）；Georgia Institute of Technology（佐治亚理工学院）
本研究利用GPT-2单向Transformer嵌入结合LSTM检测编译代码中的漏洞，准确率达92.5%，优于BERT和RoBERTa等双向模型，并发现未冻结嵌入层和SGD优化器效果最佳。
2025-02-18 cs.CL cs.CR cs.LG
BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward
ETH Zürich（苏黎世联邦理工学院）
在许多学习框架中，根据一组参考来衡量生成的序列的质量是一个核心问题，无论是计算分数，分配奖励还是执行区分。尽管模型架构有了很大的进步，但独立于引用数量的度量仍然基于n-gram估计。我们表明，底层的操作，计数的话，比较计数，可以提升到嵌入的话，比较嵌入。对BERT嵌入的深入分析表明，经验表明，可以采用上下文嵌入来捕获所需的依赖关系，同时通过适当的修剪和平滑技术保持必要的可扩展性。我们将无条件生成作为一个强化学习问题，并表明我们的奖励函数在这个具有挑战性的设置中确实提供了比n元奖励更有效的学习信号。
2020-03-05 cs.CL cs.LG stat.ML
BERT Goes Shopping: Comparing Distributional Models for Product Representations
Bocconi University（博科尼大学）；Coveo；Coveo AI Labs（Coveo人工智能实验室）
词嵌入（例如，word 2 vec）已通过~ \textit{prod2vec}成功应用于电子商务产品。受最近上下文嵌入带来的几个NLP任务的性能改进的启发，我们建议将BERT类架构转移到电子商务中：我们的模型-- ~ \textit{Prod2BERT} --经过训练，通过掩码会话建模生成产品的表示。通过对多个商店、不同任务和一系列设计选择的广泛实验，我们系统地比较了~ \textit{Prod2BERT}和~ \textit{prod2vec}嵌入的准确性：虽然~ \textit{Prod2BERT}在几种情况下都是优越的，但我们强调了资源和超参数在最佳性能模型中的重要性。最后，我们提供了指导方针，从业人员在各种计算和数据的约束下训练嵌入。
2021-06-23 cs.CL cs.IR
Playing with words: Comparing the vocabulary and lexical diversity of ChatGPT and humans
Universidad Politécnica de Madrid（马德里理工大学）；Universidad de Valladolid（巴利亚多利德大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文通过比较 ChatGPT 与人类在问答和改写任务中的文本，发现 ChatGPT 使用的不同词语更少、词汇丰富度更低，但结论仍需更多数据集与配置验证。
2025-03-14 cs.AI cs.CL
RPD: A Distance Function Between Word Embeddings
University of Washington（华盛顿大学）；Nanjing University（南京大学）
众所周知，不同的算法、训练过程和语料库会产生不同的词嵌入。然而，对不同嵌入空间之间的关系知之甚少，即不同的嵌入集合彼此偏离多远。在本文中，我们提出了一种新的度量称为相对成对内积距离（RPD）量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质，我们系统地研究了不同算法的词嵌入之间的关系，并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足，并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
A visual observation on the geometry of UMAP projections of the difference vectors of antonym and synonym word pair embeddings
Faculty of Information Technology, University of Jyväskylä（于韦斯屈莱大学信息科技学院）；HUS Helsinki University Hospital（赫尔辛基大学医院）；Digital Workforce Services（数字劳动力服务）
本文通过UMAP投影分析反义词与同义词词对嵌入差向量的几何特性，发现特定投影下出现独特的漩涡结构，探讨了Transformer模型中概念编码的几何表示方法。
2026-03-25 cs.CL cs.LG
Unsupervised Learning for Lexicon-Based Classification
Georgia Institute of Technology（佐治亚理工学院）
在基于词典的分类中，通过比较出现在两个相反词典中的单词的数量（例如积极和消极情绪）来为文档分配标签。创建这样的单词列表通常比标记实例更容易，并且如果分类性能不令人满意，它们可以由非专家进行调试。然而，很少有这种分类启发式的分析或理由。本文描述了一组假设，可以用来推导基于词汇的分类的概率理由，以及其预期的准确性分析。基于词典的分类背后的一个关键假设是，每个词典中的所有单词都具有同等的预测性。这在实践中很少是真的，这就是为什么基于词汇的方法通常被监督分类器优于，监督分类器从标记的实例中学习每个单词的不同权重。本文表明，它是可以学习这样的权重没有标记的数据，通过利用跨词典的共现统计。这提供了两全其美的效果：词典形式的轻度监督，以及比传统字数统计启发式更高准确性的数据驱动分类。
2016-11-21 cs.CL cs.LG stat.ML
Improving Chinese Segmentation-free Word Embedding With Unsupervised Association Measure
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Shanghai Advanced Research Institute（上海高等研究院）；Shanghai Carbon Data Research Center（上海碳数据研究中心）；Centre for Excellence in Brain Science and Intelligence Technology（脑科学与智能技术卓越创新中心）
最近关于无分割词嵌入（sembei）的工作为未分割的语言开发了一种新的词嵌入管道，同时避免了作为预处理步骤的分割。然而，在嵌入词汇表中存在太多的噪声n-gram，这些噪声n-gram在字符之间不具有强的关联强度，这将限制学习的词嵌入的质量。针对这一问题，提出了一种新的无分割词嵌入模型，该模型通过一种新的无监督关联测度--带时间信息的逐点关联（PATI）来收集n-gram词汇。与常用的n-gram过滤方法（如sembei中使用的频率和逐点互信息（PMI））相比，该方法利用了语料库中更多的潜在信息，从而能够在未分割的语言数据（如中文文本）中收集更多具有更强凝聚力的有效n-gram作为嵌入目标。在中文SNS数据上的进一步实验表明，该模型提高了下游任务中词嵌入的性能。
2020-07-05 cs.CL cs.LG
Towards Understanding Spontaneous Speech: Word Accuracy vs. Concept Accuracy
在本文中，我们描述了一种方法来自动评估的语音识别和理解能力的口语对话系统的训练时间表信息。我们使用单词准确度进行识别，使用概念准确度进行理解性能判断。这两个指标都是通过将这些模块的输出与正确的参考答案进行比较来计算的。我们报告的评价结果约10000话语的自发语音语料库。我们观察到单词准确性和概念准确性之间几乎呈线性关系。
1996-05-15 cmp-lg cs.CL
Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging
Technical University Darmstadt（达姆斯塔特技术大学）
本文提出利用扩散张量成像技术可视化词嵌入中的信息流，揭示LLM中自然语言表达的信息流动机制，提升NLP模型的可解释性。
2026-08-04 cs.AI cs.CL cs.LG
Affect Enriched Word Embeddings for News Information Retrieval
Adobe（奥多比）
词的分布式表示已被证明是有用的，以提高效率的IR系统在许多子任务，如查询扩展，检索和排名。像word 2 vec、GloVe等算法也是不同NLP任务中许多改进的关键因素。这种嵌入模型的一个常见问题是，像快乐和悲伤这样的词出现在类似的上下文中，因此在嵌入空间中被错误地聚集在一起。在本文中，我们利用Aff 2 Vec，一组词嵌入模型，其中包括影响信息，以更好地捕捉新闻文本中的影响方面，以实现更好的结果在信息检索任务，也这样的嵌入是由同义词/反义词的问题较少击中。我们评估其有效性的两个IR相关的任务（查询扩展和排名）在纽约时报数据集（TREC-core '17）比较他们对其他词嵌入为基础的模型和经典的排名模型。
2019-09-04 cs.CL cs.IR
Topic Modeling over Short Texts by Incorporating Word Embeddings
Hefei University of Technology（合肥工业大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
从大量的短文本中推断主题成为许多内容分析任务的关键但具有挑战性的任务，例如内容特征化，用户兴趣分析和新兴主题检测。现有的方法，如概率潜在语义分析（PLSA）和潜在狄利克雷分配（LDA）不能很好地解决这个问题，因为只有非常有限的词共现信息是可用的短文本。本文研究如何将外部词汇相关知识融入到短文中，以提高话题建模的连贯性。基于词嵌入从大规模语料库中学习词的语义表示的最新研究成果，本文提出了一种新的从短文本中学习潜在主题的方法--基于嵌入的主题模型（Embedding-based Topic Model，ETM）。ETM不仅通过将短文本聚合成长伪文本来解决非常有限的词共现信息的问题，而且还利用马尔可夫随机场正则化模型，该模型使相关词有更好的机会被放入同一主题中。在真实数据集上的实验验证了该模型的有效性。
2016-09-27 cs.CL cs.IR cs.LG
Regional Negative Bias in Word Embeddings Predicts Racial Animus--but only via Name Frequency
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
词嵌入联想测试是在大文本语料库中测量对少数民族等社会群体的语言偏见的一种重要方法。它通过比较组的原型词的语义相关性（例如，对那些组唯一的名称）和属性字（例如，“令人愉快的”和“不愉快的”词）。我们表明，在大都市统计区层面，从地理标记的社交媒体数据中估计的反黑人WEAT与种族敌意的几个指标密切相关-即使在控制社会人口协变量时。然而，我们还表明，这些相关性的每一个解释的第三个变量：在底层语料库中的黑人的名字相对于白人的名字的频率。这是因为词嵌入倾向于在估计的语义空间中将肯定（否定）词和频繁（罕见）词分组在一起。由于社交媒体上黑人名字的频率与美国黑人在人口中的流行程度密切相关，这导致了在少数美国黑人居住的地方虚假的反黑人WEAT估计。这表明，使用WEAT来衡量偏见的研究应该考虑词频，并证明了使用黑盒模型（如词嵌入）来研究人类认知和行为的潜在后果。
2022-01-20 cs.AI cs.CL cs.LG
Simple, Interpretable and Stable Method for Detecting Words with Usage Change across Corpora
Inria Paris（法国国家信息与自动化研究所巴黎中心）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Bar-Ilan University（巴伊兰大学）
比较两个文本主体并搜索它们之间用法不同的单词的问题经常出现在数字人文科学和计算社会科学中。这通常是通过在每个语料库上训练词嵌入，对齐向量空间，并寻找对齐空间中余弦距离较大的词来实现的。然而，这些方法通常需要对词汇表进行广泛的过滤才能表现良好，并且正如我们在这项工作中所展示的那样，结果不稳定，因此不太可靠。我们提出了一种替代方法，不使用向量空间对齐，而是考虑每个单词的邻居。该方法简单、稳定、可解释。我们证明了它的有效性，在9个不同的设置，考虑不同的语料库分割标准（年龄，性别和职业的推文作者，推文的时间）和不同的语言（英语，法语和希伯来语）。
2021-12-28 cs.CL
Values That Are Explicitly Present in Fairy Tales: Comparing Samples from German, Italian and Portuguese Traditions
NOVA University of Lisbon（里斯本新大学）；School of Communication and Media Studies, IPL（葡萄牙IPL传播与媒体研究学院）；University of Milan（米兰大学）
本文利用带指南针的词嵌入和定制 Word2Vec 模型，比较德、意、葡童话中价值词的距离与共性，提出可复现的历史语料价值观分析方法，并发现泛欧文化记忆的迹象。
2024-05-06 cs.CL cs.CY
Using Word Embeddings to Examine Gender Bias in Dutch Newspapers, 1950-1990
DHLab KNAW Humanities Cluster（荷兰皇家艺术与科学学院人文集群数字实验室）
当代关于公共和社交媒体中的过滤泡沫和两极分化的辩论提出了一个问题，即过去的新闻媒体在多大程度上表现出偏见。本文专门探讨偏见有关的性别在1950年和1990年之间的六个荷兰全国性报纸。我们通过比较在具有不同意识形态背景的报纸上训练的词嵌入模型的局部变化来衡量与性别相关的偏见。我们展示了性别偏见的明显差异，以及随着时间的推移报纸内部和之间的变化。在性和休闲等主题方面，我们看到偏向女性的倾向，而一般来说，偏向男性的倾向，尽管女性就业人数和女权主义运动不断增加。尽管荷兰社会在意识形态上变得不那么分层（去支柱化），但我们发现宗教和社会民主派与自由派报纸之间的性别偏见越来越大。在方法论上，本文阐述了如何利用词嵌入来考察历史语言变化。未来的工作将研究如何微调深度上下文嵌入模型，如ELMO，可能用于具有更多上下文信息的类似任务。
2019-07-21 cs.CL cs.CY cs.LG
A Comprehensive Comparison of Word Embeddings in Event & Entity Coreference Resolution
ULiege/HEC Liege（列日大学/列日高等商学院）
共指消解是一项重要的自然语言处理任务，大多数最先进的方法都依赖于词嵌入来表示词。然而，在文献中很大程度上被忽视的一个问题是，在这项任务中，比较不同嵌入的性能。因此，我们在事件和实体共指消解（EvCR & EnCR）的背景下构建我们的研究，并解决两个问题：1）在性能（预测和运行时间）和嵌入大小之间是否存在权衡？2)嵌入的性能在家族内部和家族之间如何比较？我们的实验揭示了几个有趣的发现。首先，我们观察到嵌入大小的性能收益递减。例如，仅使用字符嵌入的模型实现了最大模型（Elmo，GloVe，Character）的86%的性能，而其大小为1.2%。其次，使用多个嵌入的较大模型总体上学习得更快，尽管每个时期较慢。但是，在测试时仍然较慢。最后，Elmo在EvCR和EnCR上表现最好，而GloVe和FastText分别在EvCR和EnCR上表现最好。
2021-10-11 cs.CL cs.LG
Fast Extraction of Word Embedding from Q-contexts
South China University of Technology（华南理工大学）；University of Cambridge（剑桥大学）；Tencent Quantum Lab（腾讯量子实验室）；Tsinghua University（清华大学）
词嵌入的概念在自然语言处理（NLP）中起着基础性的作用。然而，对于大多数现有方法来说，针对非常大规模的词汇的预训练词嵌入在计算上是具有挑战性的。在这项工作中，我们表明，只有一小部分的上下文（Q-上下文），这是典型的在整个语料库（和他们的互信息与单词），可以构建高质量的词嵌入可以忽略不计的错误。将上下文和词之间的互信息规范地编码为采样状态，从而可以快速构造Q-上下文。此外，我们提出了一个高效和有效的WEQ方法，这是能够提取词嵌入直接从这些典型的背景。在实际情况下，我们的算法运行11 $\sim$ 13倍的速度比完善的方法。通过与矩阵分解、word2vec、GloVe和fasttext等知名方法的比较，我们证明了我们的方法在各种下游NLP任务上都取得了相当的性能，同时保持了所有这些基线的运行时间和资源优势。
2021-09-15 cs.AI cs.CL
Subword Tokenization Strategies for Kurdish Word Embeddings
Department of Linguistics, University at Buffalo, Buffalo NY, USA（语言学系，布法罗大学，布法罗纽约州）
针对库尔德语低资源词嵌入任务，对比三类分词策略，发现BPE存在评估偏差，基于语素的分词综合表现更优，为低资源语言分词评估与方法选择提供参考。
2025-11-18 cs.CL
Using Word Embeddings in Twitter Election Classification
University of Glasgow（格拉斯哥大学）
词嵌入和卷积神经网络（CNN）在Twitter的各种分类任务中引起了广泛的关注，例如情感分类。然而，用于训练和生成词嵌入的配置对分类性能的影响在现有文献中尚未研究。在本文中，使用Twitter的选举分类任务，旨在检测选举相关的推文，我们调查的背景数据集用于训练的嵌入模型，上下文窗口大小和维数的词嵌入的分类性能的影响。通过比较两个词嵌入模型的分类结果，这两个模型使用不同的背景语料（例如维基百科文章和Twitter微帖子）进行训练，我们表明背景数据类型应该与Twitter分类数据集保持一致，以实现更好的性能。此外，通过评估使用各种上下文窗口大小和维度训练的词嵌入模型的结果，我们发现大的上下文窗口和维度大小更有利于提高性能。我们的实验结果还表明，使用词嵌入和CNN导致统计上显着的改善，在各种基线，如随机，支持向量机与TF-IDF和支持向量机与词嵌入。
2017-03-21 cs.CL cs.IR
What Drives the Use of Metaphorical Language? Negative Insights from Abstractness, Affect, Discourse Coherence and Contextualized Word Representations
University of Stuttgart（斯图加特大学）
给定一个特定的语篇，哪些语篇属性触发了隐喻语言的使用，而不是使用字面上的替代？例如，是什么驱使人们在特定的语境中说“领会意思”而不是“理解意思”？许多自然语言处理隐喻语言的方法依赖于认知和（心理）语言学的见解，并成功地定义了语篇连贯性，抽象性和情感的模型。在这项工作中，我们建立了五个简单的模型依赖于既定的认知和语言属性-频率，抽象性，影响，话语连贯性和语境化的词表示-预测使用的隐喻与同义的字面表达在上下文中。通过比较模型的输出与人类的判断，我们的研究表明，我们选择的属性不足以系统地解释隐喻与字面语言的选择。
2022-05-23 cs.CL
Statistical Uncertainty in Word Embeddings: GloVe-V
Stanford University（斯坦福大学）
针对静态词嵌入下游结论统计不确定性评估难的问题，该研究提出基于多元正态解析近似的GloVe-V方法，可生成GloVe的可扩展方差估计，支撑词嵌入相关的标准化假设检验。
2024-06-18 cs.CL
Towards Automatic Construction of Filipino WordNet: Word Sense Induction and Synset Induction Using Sentence Embeddings
De La Salle University（德拉萨大学）；Samsung R&D Institute Philippines（三星菲律宾研发院）
本研究提出一种仅依赖未标注语料库和句子嵌入语言模型进行词义与同义词集归纳的方法，并应用于 Filipino 文本，实证表明30%归纳词义有效、40%归纳同义词集有效（含20%新颖集），助力低资源语言 wordnet 自动构建。
2023-10-19 cs.CL
embComp: Visual Interactive Comparison of Vector Embeddings
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯）；Starfleet Academy（星际舰队学院）
本文介绍了embComp，一种新的方法，用于比较两个嵌入，捕捉对象之间的相似性，如单词和文档嵌入。我们调查的情况下，比较这些嵌入空间是有用的。从这些场景中，我们得到了常见的任务，介绍了支持这些任务的可视化分析方法，并将它们组合成一个全面的系统。embComp的核心功能之一是基于度量对象周围局部结构差异的指标的概览可视化。通过嵌入总结这些局部度量提供了相似性和差异性的全局概述。详细视图允许比较选定对象周围的局部结构，并将此局部信息与全局视图相关联。集成并连接所有这些组件，embComp支持一系列分析工作流，有助于了解嵌入空间之间的相似性和差异。我们通过将其应用于几个用例来评估我们的方法，包括通过词向量嵌入来理解语料库差异，以及理解生成嵌入的算法差异。
2021-06-02 cs.CL cs.HC
Sense Embedding Learning for Word Sense Induction
University of Rochester（罗切斯特大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
传统的词义归纳（WSI）方法通常用离散的语言特征或共现特征来表示每个实例，并为每个多义词单独训练模型。在这项工作中，我们建议学习的WSI任务的意义嵌入。在训练阶段，我们的方法诱导几个意义中心（嵌入）为每个多义词。在测试阶段，我们的方法将每个实例表示为上下文向量，并通过在嵌入空间中找到最近的意义质心来归纳其意义。该方法的优点在于：（1）采用分布式意义向量作为知识表示，并进行区分性训练，通常比传统的基于计数的分布式模型具有更好的性能;（2）在多任务学习框架下，联合训练整个词汇的通用模型，以诱导意义中心。在SemEval-2010 WSI数据集上进行评估，我们的方法优于所有参与者和大多数最新的最先进的方法。我们通过与精心设计的基线进行比较，进一步验证了这两个优势。
2016-06-22 cs.CL
An Exploratory Analysis on the Explanatory Potential of Embedding-Based Measures of Semantic Transparency for Malay Word Recognition
University of Tübingen（图宾根大学）
本研究通过词嵌入和位移向量等方法构建语义透明度测量指标，并在马来语前缀词数据上验证其对词汇判断反应时的预测作用，发现词与质心相关性模型拟合最佳。
2025-05-09 cs.CL
Aligning Linguistic Words and Visual Semantic Units for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University of Science and Technology（南京理工大学）；Huawei Devices（华为终端）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述试图生成由多个语言词组成的句子，这些语言词用于描述图像中的对象、属性和交互，在本文中表示为视觉语义单元。基于这一观点，本文提出了基于图卷积网络（Graph Convolutional Networks，GCN）的语义和几何对象交互模型，并充分利用语言词和视觉语义单元之间的对齐关系来实现图像描述。特别地，我们构造语义图和几何图，其中每个节点对应于视觉语义单元，即，对象、属性或两个对象之间的语义（几何）交互。因此，通过相应的GCN学习处理器获得每个单元的语义（几何）上下文感知嵌入。在每一个时间步，上下文门控注意模块作为输入的嵌入的视觉语义单元和分层对齐的当前单词与这些单元，首先决定哪种类型的视觉语义单元（对象，属性，或交互）的当前单词是关于，然后找到最相关的视觉语义单元下的这种类型。在具有挑战性的MS-COCO图像描述数据集上进行了广泛的实验，并报告了与最先进方法相比的优越结果。
2019-08-06 cs.CL cs.CV cs.LG
A Precisely Xtreme-Multi Channel Hybrid Approach For Roman Urdu Sentiment Analysis
为了加速罗马乌尔都语的各种自然语言处理任务的性能，本文首次提供了3个神经词嵌入，使用最广泛使用的方法，即Word2vec，FastText和Glove。使用内在和外在评估方法评估生成的神经词嵌入的完整性。考虑到缺乏公开可用的基准数据集，它提供了有史以来第一个罗马乌尔都语数据集，其中包括3241个针对积极，消极和中性类别的情感注释。为了在所呈现的数据集上提供基准基线性能，我们采用了不同的机器学习（支持向量机逻辑回归，朴素贝叶斯），深度学习（卷积神经网络，递归神经网络）和混合方法。生成的神经词嵌入的有效性通过比较机器和基于深度学习的方法分别使用7种和5种不同的特征表示方法的性能来评估。最后，它提出了一种新的精确极端多通道混合方法，其性能优于最先进的自适应机器和深度学习方法，在F1分数方面分别为9%和4%。罗马乌尔都语情感分析，罗马乌尔都语预训练词嵌入，Word2Vec，手套，快速文本
2020-03-11 cs.CL
Revisiting Word Embeddings in the LLM Era
本文系统比较了LLM诱导的词嵌入与Word2Vec、GloVe等经典模型，发现LLM在去上下文场景下聚类和类比任务表现更佳，但在上下文场景的句子级相似性任务中经典模型SimCSE仍具优势。
2025-03-01 cs.CL
GlobalTrait: Personality Alignment of Multilingual Word Embeddings
The Hong Kong University of Science and Technology（香港科技大学）；EMOS Technologies Inc.（EMOS科技公司）
我们提出了一个多语种的模型来识别大五人格特质的文本数据在四种不同的语言：英语，西班牙语，荷兰语和意大利语。我们的分析表明，在不同语言中具有相似语义的单词不一定对应相同的人格特征。因此，我们提出了一种个性对齐方法，GlobalTrait，它具有从源语言到目标语言（英语）的每个特征的映射，使得与每个特征正相关的词在多语言向量空间中紧密相连。使用这些对齐的嵌入进行训练，与使用简单的单语和未对齐的多语言嵌入相比，我们可以将与个性相关的训练特征从英语等高资源语言转移到其他低资源语言，并获得更好的多语言结果。当使用具有个性对齐嵌入的CNN将我们的单语模型与多语言模型进行比较时，我们实现了平均F分数从65增加到73.4（+8.4）（除英语外的所有三种语言）。我们在回归任务中也表现出相对较好的性能，在单独的中国数据集上评估我们的模型时，分类结果也更好。
2018-11-20 cs.CL
Revisiting Word Embeddings in the LLM Era
Auburn University（奥本大学）；University of Central Florida（中佛罗里达大学）
本文系统比较了LLM诱导的词嵌入与经典编码模型（如Word2Vec、SimCSE等）在去上下文和上下文设置下的表现，发现LLMs在去上下文类比任务中更优，而经典模型在句子级细粒度语义相似性评估上仍具优势。
2025-03-01 cs.CL
HistBERT: A Pre-trained Language Model for Diachronic Lexical Semantic Analysis
University of Toronto（多伦多大学）
上下文词嵌入在各种自然语言处理任务中表现出最先进的性能，包括那些涉及历史语义变化的任务。然而，诸如BERT的语言模型主要是在当代语料库数据上训练的。为了研究历史语料库数据的训练是否提高了历时语义分析，我们提出了一个预先训练的基于BERT的语言模型，HistBERT，在历史美国英语的平衡语料库上训练。我们检查我们的方法的有效性，通过比较原始的BERT和HistBERT的性能，我们报告有希望的结果在单词相似性和语义转移分析。我们的工作表明，上下文嵌入在历时语义分析中的有效性取决于输入文本的时间轮廓，在应用这种方法来研究历史语义变化时应注意。
2022-02-08 cs.CL cs.LG
A Comparative Analysis of Word-Level Metric Differential Privacy: Benchmarking The Privacy-Utility Trade-off
Technical University of Munich（慕尼黑工业大学）；TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）
本文针对词级差分隐私缺乏横向比较的问题，在两个 NLP 任务和多种超参数（含隐私预算 ε）下基准测试七种算法，分析隐私-效用权衡并开源代码。
2024-04-04 cs.CL
A Primer on Word Embeddings: AI Techniques for Text Analysis in Social Work
University of Michigan（密歇根大学）；Wayne State University（韦恩州立大学）；Tianjin University of Technology（天津理工大学）
本文向社会工作研究者介绍词嵌入技术，阐述其如何通过语义搜索、聚类和检索增强生成等方法增强文本分析工作流程，并指出需开发领域特定模型与符合伦理的最佳实践以推动研究与服务。
2024-11-11 cs.CL
Transparent Semantic Spaces: A Categorical Approach to Explainable Word Embeddings
Valencian Research Institute for Artificial Intelligence (VRAIN)（瓦伦西亚人工智能研究 institute）；Universitat Politècnica de València（瓦伦西亚理工大学）
本文提出基于范畴论的透明语义空间框架，通过构造文本语义范畴和词嵌入范畴，证明GloVe、Word2Vec与度量MDS算法的等价性，并给出嵌入前计算与缓解偏置的数学方法，以提升词嵌入的可解释性。
2025-08-28 cs.AI cs.CL math.CT
Neural approaches to spoken content embedding
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田技术研究所）
本文提出基于循环神经网络的判别性声学词嵌入和声学基础词嵌入方法，改进训练效率与性能，扩展至低资源多语言，并应用于语音搜索和识别任务，与自监督模型互补。
2023-08-28 cs.CL cs.SD eess.AS
