Comparing Euclidean and Hyperbolic Embeddings on the WordNet Nouns Hypernymy Graph
Bloomberg（彭博）
Nickel和Kiela（2017）提出了一种在庞加莱球中嵌入树节点的新方法，并提出这些双曲嵌入在大型分层结构图（如WordNet名词上位树）中嵌入节点时比欧几里得嵌入更有效。这在低维度中尤其如此（Nickel和Kiela，2017，表1）。在这项工作中，我们试图重现他们的实验嵌入和重建WordNet名词上位图。相反，他们的报告，我们发现，欧几里德嵌入能够表示这棵树至少以及庞加莱嵌入，当允许至少50个维度。我们注意到，这并没有削弱他们的工作的重要性，因为双曲嵌入在非常低维的设置中有着令人印象深刻的性能。然而，考虑到他们的工作的广泛影响，我们在这里的目的是提出一个更新的和更准确的比较欧几里德和双曲嵌入。
2021-09-15 cs.CL cs.LG
Comparing in context: Improving cosine similarity measures with a metric tensor
Utrecht University（乌得勒支大学）
余弦相似性是一种广泛使用的预训练词嵌入的相关性度量，该词嵌入是在语言建模目标上训练的。WordSim-353和SimLex-999等数据集根据人类注释者对单词的相似程度进行评级，因此通常用于评估语言模型的性能。因此，对单词相似性任务的任何改进都需要改进的单词表示。在本文中，我们建议使用扩展余弦相似性度量来提高该任务的性能，并获得可解释性。我们探讨的假设，这种方法是特别有用的，如果单词相似性对共享相同的上下文，不同的上下文相似性措施可以学习。我们首先使用Richie et al.（2020）的数据集来学习情境化指标，并将结果与使用标准余弦相似性度量获得的基线值进行比较，这始终显示出改进。我们还训练了SimLex-999和WordSim-353的上下文相似性度量，将结果与相应的基线进行比较，并将这些数据集用作在上下文数据集上学习的所有上下文相似性度量的独立测试集，获得了一些测试的积极结果。
2022-03-28 cs.CL cs.LG
Bad Form: Comparing Context-Based and Form-Based Few-Shot Learning in Distributional Semantic Models
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；TechWolf
词嵌入是广泛的自然语言处理应用中的重要组成部分。然而，分布式语义模型是已知的斗争时，只有少量的上下文句子。已经提出了几种方法来获得这些单词的更高质量的向量，利用上下文信息，有时通过混合方法形成单词本身。我们表明，目前的任务不足以评估使用单词形式信息的模型，因为这样的模型可以很容易地利用单词形式的训练数据，相关的单词形式的测试数据。我们引入了3个新任务，允许模型之间进行更平衡的比较。此外，我们还发现，在以前的工作中基本上被忽略的超参数可以持续提高基线和高级模型的性能，在6个任务中有4个任务达到了新的水平。
2019-10-01 cs.CL cs.LG
LAMVI-2: A Visual Tool for Comparing and Tuning Word Embedding Models
调整机器学习模型，特别是深度学习架构，是一个复杂的过程。自动化超参数调整算法通常依赖于特定的优化指标。然而，在许多情况下，开发人员会将一个指标与另一个指标进行权衡：准确度与过拟合，精确度与召回率，较小的模型和准确度等。使用深度学习，不仅模型的表示不透明，当参数“旋钮”改变时，模型的行为也可能是不可预测的。因此，挑选“最佳”模型往往需要进行耗时的模型比较。在这项工作中，我们介绍了LAMVI-2，一个可视化的分析系统，以支持开发人员在比较超参数设置和结果。通过关注单词嵌入模型（“文本的深度学习”），我们整合了视图来比较高级统计数据和内部模型行为（例如，比较单词“距离”）。我们演示了开发人员如何使用LAMVI-2更快、更准确地缩小适当、有效的特定于应用程序的模型。
2018-10-22 cs.CL cs.HC cs.LG
Semeval-2022 Task 1: CODWOE -- Comparing Dictionaries and Word Embeddings
Helsinki University（赫尔辛基大学）；Utrecht University（乌得勒支大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；ATILF（ATILF研究所）
词嵌入在许多任务中推进了NLP的最新发展。理解密集神经表征的内容是计算语义学社区的最大兴趣。我们建议把重点放在这些不透明的词向量与人类可读的定义，如在字典中找到的。这个问题自然分为两个子任务：将定义转换为嵌入，以及将嵌入转换为定义。这项任务是在多语言环境中进行的，使用了同类训练的可比嵌入集。
2022-05-27 cs.CL
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）
用上下文化的词表示代替静态的词嵌入，在许多NLP任务上都有了显著的改进。然而，ELMo和BERT等模型产生的语境化表示究竟有多语境化呢？每个词是否有无限多个上下文特定的表征，或者词本质上被分配了有限数量的词义表征之一？首先，我们发现所有单词的语境化表示在语境化模型的任何一层都不是各向同性的。虽然相同单词在不同上下文中的表示仍然比两个不同单词的表示具有更大的余弦相似性，但这种自相似性在上层中要低得多。这表明上下文化模型的上层产生更多的上下文特定的表示，就像LSTM的上层产生更多的任务特定的表示一样。在ELMo、BERT和GPT-2的所有层中，平均而言，一个词的上下文表示中只有不到5%的方差可以通过该词的静态嵌入来解释，这为上下文表示的成功提供了一些理由。
2019-09-02 cs.CL
Comparing CNN and LSTM character-level embeddings in BiLSTM-CRF models for chemical and disease named entity recognition
School of Computing and Information Systems（计算与信息系统学院）；The University of Melbourne（墨尔本大学）
我们比较了在BiLSTM-CRF模型中使用基于LSTM和基于CNN的字符级词嵌入来处理化学和疾病命名实体识别（NER）任务。BioCreative V CDR语料库的实证结果表明，使用任何一种类型的字符级词嵌入与BiLSTM-CRF模型相结合，导致相当的最先进的性能。然而，使用基于CNN的字符级词嵌入的模型具有计算性能优势，比基于词的模型增加了25%的训练时间，而基于LSTM的字符级词嵌入是所需训练时间的两倍多。
2018-08-25 cs.CL
Comparing morphological complexity of Spanish, Otomi and Nahuatl
我们使用两个小的平行语料库比较西班牙语，奥托米语和纳瓦特尔语的形态复杂性。这些语言属于不同的语系，后者资源较少。我们考虑了两个定量标准，一方面是分布的类型在语料库中的令牌，另一方面，困惑和熵作为指标的词结构的可预测性。我们表明，一种语言可以是复杂的，有多少不同的形态词的形式可以产生，然而，它可能是不那么复杂的，其内部结构的单词的可预测性。
2018-08-13 cs.CL
Comparing Neural- and N-Gram-Based Language Models for Word Segmentation
Universidade de Vigo（维戈大学）；Universidade da Coruña（拉科鲁尼亚大学）
分词是插入或删除词的边界字符，以分离字符序列对应的词在某种语言的任务。在这篇文章中，我们提出了一种方法的基础上的束搜索算法和语言模型工作在字节/字符级，后者的组件实现为一个n-gram模型或递归神经网络。所得到的系统一次一个标记地分析没有单词边界的文本输入，该标记可以是字符或字节，并且使用由语言模型收集的信息来确定是否必须将边界放置在当前位置。我们的目标是使用这个系统在一个预处理步骤的缩微文本规范化系统。这意味着它需要有效地处理这种文本上存在的数据稀疏性。我们还努力超越两个现成的分词系统的性能：微软著名的和可访问的Word Breaker，以及Grant Jenks的Python模块WordSegment。结果表明，我们已经达到了我们的目标，我们希望在未来继续提高我们的系统的精度和效率。
2018-12-03 cs.CL
Comparing Fifty Natural Languages and Twelve Genetic Languages Using Word Embedding Language Divergence (WELD) as a Quantitative Measure of Language Distance
University of California, Berkeley（加州大学伯克利分校）
我们引入了一种新的基于词嵌入的语言间距离度量，称为词嵌入语言分歧（WELD）。WELD定义为不同语言之间词汇相似性分布的差异。使用这样的措施，我们进行语言比较的50个自然语言和12个遗传语言。我们的自然语言数据集是一个从圣经翻译的跨各种语系的50种语言的平行语料库的集合。尽管我们使用并行语料库，可以保证所有语言都有相同的内容，但有趣的是，在许多情况下，同一家族中的语言会聚集在一起。除了自然语言之外，我们还对12种不同生物（4种植物，6种动物和2种人类）基因组中的编码区进行了语言比较。我们的结果证实了人类/动物与植物的遗传语言模型存在显著的高水平差异。所提出的方法是一个步骤，以定义一个定量的语言之间的相似性度量，在语言分类，体裁识别，方言识别和评估的翻译应用。
2016-04-28 cs.CL
CompText: Visualizing, Comparing & Understanding Text Corpus
UC Davis（加州大学戴维斯分校）
自然语言处理（NLP）中的一种常见做法是在不通读整个文献的情况下可视化文本语料库，仍然抓住所描述的中心思想和关键点。长期以来，研究者们致力于从文本中提取主题，并根据主题在语料库中的相对重要性将其可视化。然而，最近，研究人员开始提出更复杂的系统，不仅暴露了语料库的主题，还暴露了与主题密切相关的词，为用户提供了一个整体视图。这些详细的可视化催生了基于可视化的文本语料库比较研究。主题经常被比较以理想化语料库之间的差异。然而，为了从不同的语料库中获取更大的语义，研究人员已经开始根据与文本相关的主题的情感来比较文本。通过比较权重最大的词，可以了解语料库的重要主题。有多种现有的文本比较方法，目前比较的主题，而不是情绪，但我们认为，专注于情感携带的话会更好地比较两个语料库。因为只有情感才能解释文本的真实感受，而不仅仅是主题，没有情感的主题只是名词。我们的目标是区分语料库，重点是情感，而不是比较所有的话出现在两个语料库。这背后的基本原理是，这两个语料库没有多少相同的词进行并排比较，所以比较情感词给我们一个想法，语料库是如何吸引读者的情感。我们可以认为，熵或主题的意外性和分歧也应该是重要的，并帮助我们确定关键的支点和语料库中某些主题的重要性以及相对情绪。
2022-07-27 cs.CL
Comparing Moral Values in Western English-speaking societies and LLMs with Word Associations
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；Complex Human Data Hub, The University of Melbourne（墨尔本大学复杂人类数据中心）
为避免直接提示的局限性，本研究提出利用词汇联想作为底层表征，通过在人类与LLM联想图中传播Moral Foundation Theory的种子词，系统比较了西方英语社会与LLM在道德价值观上的差异。
2025-05-28 cs.CL
Visualising Information Flow in Word Embeddings with Diffusion Tensor Imaging
Technical University Darmstadt（达姆斯塔特技术大学）
本文提出利用扩散张量成像技术可视化词嵌入中的信息流，揭示LLM中自然语言表达的信息流动机制，提升NLP模型的可解释性。
2026-08-04 cs.AI cs.CL cs.LG
Can Word Sense Distribution Detect Semantic Changes of Words?
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Tokyo Metropolitan University（东京都立大学）；Amazon（亚马逊）
本研究探索利用词义分布比较不同时间语料库中目标词的义项分布，通过预训练静态义项嵌入和散度度量，在SemEval 2020 Task 1上验证了该方法能准确检测多语言词语的语义变化。
2023-10-16 cs.AI cs.CL cs.LG
Leverage Points in Modality Shifts: Comparing Language-only and Multimodal Word Representations
本文大规模比较CLIP等视觉-语言模型与FastText、BERT等纯文本模型的词嵌入，借助46个语义参数识别视觉落地影响语言表征的关键词汇属性。
2023-06-04 cs.CL
A Data-driven Investigation of Euphemistic Language: Comparing the usage of "slave" and "servant" in 19th century US newspapers
Nanyang Technological University（南洋理工大学）
本研究借助计算方法分析19世纪美国Chronicling America语料库，发现南北报纸对slave和servant的使用关联语义与传播范围存在差异，揭示了当时报纸围绕被奴役非裔美国人构建的不同话语。
2025-03-19 cs.CL
Regional Negative Bias in Word Embeddings Predicts Racial Animus--but only via Name Frequency
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
词嵌入联想测试是在大文本语料库中测量对少数民族等社会群体的语言偏见的一种重要方法。它通过比较组的原型词的语义相关性（例如，对那些组唯一的名称）和属性字（例如，“令人愉快的”和“不愉快的”词）。我们表明，在大都市统计区层面，从地理标记的社交媒体数据中估计的反黑人WEAT与种族敌意的几个指标密切相关-即使在控制社会人口协变量时。然而，我们还表明，这些相关性的每一个解释的第三个变量：在底层语料库中的黑人的名字相对于白人的名字的频率。这是因为词嵌入倾向于在估计的语义空间中将肯定（否定）词和频繁（罕见）词分组在一起。由于社交媒体上黑人名字的频率与美国黑人在人口中的流行程度密切相关，这导致了在少数美国黑人居住的地方虚假的反黑人WEAT估计。这表明，使用WEAT来衡量偏见的研究应该考虑词频，并证明了使用黑盒模型（如词嵌入）来研究人类认知和行为的潜在后果。
2022-01-20 cs.AI cs.CL cs.LG
Autoencoding Word Representations through Time for Semantic Change Detection
Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
语义变化检测涉及识别其含义随时间变化的单词的任务。目前的最先进的检测水平的语义变化的一个词，通过比较它的矢量表示在两个不同的时间段，而不考虑其随时间的演变。在这项工作中，我们提出了三个变种的顺序模型检测语义转移的话，有效地占随着时间的推移，在时间敏感的方式在单词表示的变化。通过大量的实验，在各种设置下与合成和真实的数据，我们展示了通过时间的词向量的顺序建模的重要性，用于检测的话，其语义变化最大。最后，我们采取了一个步骤，以定量的方式比较不同的方法，证明了时间建模的单词表示产生一个明确的优势，在性能上。
2020-04-28 cs.CL
Playing with words: Comparing the vocabulary and lexical diversity of ChatGPT and humans
Universidad Politécnica de Madrid（马德里理工大学）；Universidad de Valladolid（巴利亚多利德大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文通过比较 ChatGPT 与人类在问答和改写任务中的文本，发现 ChatGPT 使用的不同词语更少、词汇丰富度更低，但结论仍需更多数据集与配置验证。
2025-03-14 cs.AI cs.CL
Query-by-Example Search with Discriminative Neural Acoustic Word Embeddings
TTI-Chicago（芝加哥丰田技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
逐例查询搜索通常使用动态时间规整（DTW）来比较查询和建议的匹配段。最近的工作表明，通过将语音片段表示为固定维向量--声学词嵌入--并测量它们的向量距离（例如，余弦距离）可以比基于DTW的方法更准确地区分单词。我们考虑了一种按示例查询搜索的方法，该方法根据神经模型嵌入查询和数据库段，然后进行最近邻搜索以找到匹配的段。早期的基于嵌入的查询的例子，使用基于模板的声学词嵌入，取得了竞争力的表现。我们发现，我们的嵌入，基于循环神经网络训练，以优化单词的歧视，实现了性能和运行时效率的显着改善，比以前的方法。
2017-06-12 cs.CL
Comparing intermittency and network measurements of words and their dependency on authorship
University of São Paulo（圣保罗大学）；Max Planck Institute for the Physics of Complex Systems（马克斯·普朗克复杂系统物理研究所）
文本和语言中的许多特征现在可以通过使用复杂网络和动力系统中的概念进行统计分析来推断。在本文中，我们量化的词共现网络的拓扑性质和词分布的不稳定性（或突发性）取决于作者的风格。我们的数据库包含来自19世纪和20世纪的8位作者的40本书，获得了以下网络测量：聚类系数，平均最短路径长度和介数。我们发现，两个因素与作者的依赖性较强的偏度分布的词不连贯性和平均最短路径。其他因素，如介数和齐普夫定律指数显示只有弱依赖于作者。还评估了使用三种机器学习方法的每种测量对作者识别的贡献。最好的表演是一个CA。将复杂网络和不确定性特征与最近邻算法相结合后，准确率达到65%。从各种指标的相互依赖性的详细分析得出结论，这里使用的方法是互补的，提供短期和长期的文本，这是有用的应用程序，如识别的主题词和信息检索的角度来看。
2011-12-28 cs.CL cs.SI physics.data-an
Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change
Stanford University（斯坦福大学）
词汇的意义变化有很多原因，包括文化因素，如新技术和常规的语言过程，如主观化。理解语言和文化的演变需要解开这些潜在的原因。在这里，我们将展示如何使用两种不同的分布措施来检测两种不同类型的语义变化。第一个措施，这已经在许多以前的作品中使用，分析一个词的分布语义的全球变化，它是敏感的变化，由于语言漂移的常规过程，如语义概括的承诺（“我承诺。”--“它保证会令人兴奋。").第二个衡量标准，我们在这里开发的，重点是一个词的最近的语义邻居的本地变化;它是更敏感的文化转变，如细胞的意义的变化（“监狱细胞”->“手机”）。通过比较这两种方法所做的测量，研究人员可以确定变化在本质上是更多的文化还是语言，这一区别对于数字人文和历史语言学的工作至关重要。
2016-09-24 cs.CL
From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs
Computational Modelling Lab, Humboldt-Universität zu Berlin, Berlin, Germany（洪堡-柏林大学计算建模实验室）；Department of Education and Psychology, Freie Universität Berlin, Berlin, Germany（柏林自由大学教育与心理学系）；Department for AI in Society, Science, and Technology, Zuse Institute Berlin, Germany（柏林祖克研究所人工智能与社会、科学与技术部门）；Institute of Mathematics, Technische Universitat Berlin, Germany（柏林技术大学数学研究所）
研究比较了大语言模型中行为与隐藏状态的语义几何，发现强制选择行为能更准确地反映隐藏状态几何，且行为数据能预测未见隐藏状态相似性。
2026-10-14 cs.AI cs.CL cs.LG
Comparing phonemes and visemes with DNN-based lipreading
University of East Anglia（东英吉利大学）；University of East London（东伦敦大学）
对于唇读系统来说，音素或视位单位是否是最有效的还存在争议。一些研究使用音素单位，即使音素描述独特的短声音;其他研究试图提高唇读的准确性，专注于不同的结果视位。我们比较了唇读系统的性能建模视觉语音使用13视位或38音素单位。我们报告的准确性，我们的系统在两个字和单位的水平。评价任务是使用TCD-TIMIT语料库的大词汇量连续语音。我们完成了我们的视觉语音建模，通过混合DNN-Hyndrome和我们的视觉语音解码器是一个加权的双态转换器（WFST）。我们使用DCT和Eigenlips作为口部ROI图像的表示。音素唇读系统的准确率优于视位系统的准确率。然而，音素系统在单元级别上实现了较低的准确性，这表明了字典对于将分类输出解码成单词的重要性。
2018-05-08 cs.CL cs.CV cs.SD
Towards hate speech detection in low-resource languages: Comparing ASR to acoustic word embeddings on Wolof and Swahili
Stellenbosch University（斯泰伦博斯大学）；Universitat Pompeu Fabra（庞培法布拉大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Cape Town（开普敦大学）；VoxCroft Analytics（VoxCroft分析公司）
本文比较低资源语言仇恨言论关键词识别中的 ASR 与多语言 AWE，发现同域小样本 ASR 更优，而真实广播场景下 AWE 更稳健。
2023-06-01 cs.CL cs.SD eess.AS
Comparing Unidirectional, Bidirectional, and Word2vec Models for Discovering Vulnerabilities in Compiled Lifted Code
Dakota State University（达科塔州立大学）；University of Arizona（亚利桑那大学）；Georgia Institute of Technology（佐治亚理工学院）
本研究利用GPT-2单向Transformer嵌入结合LSTM检测编译代码中的漏洞，准确率达92.5%，优于BERT和RoBERTa等双向模型，并发现未冻结嵌入层和SGD优化器效果最佳。
2025-02-18 cs.CL cs.CR cs.LG
Are Character-level Translations Worth the Wait? Comparing ByT5 and mT5 for Machine Translation
University of Groningen（格罗宁根大学）；Center for Language and Cognition（语言与认知中心）
本研究比较字符级ByT5与子词级mT5在神经机器翻译中的表现，发现字符级模型在有限微调数据下更优，能更好翻译相似词和稀有词，但需权衡效率，适合非时间关键场景。
2024-01-26 cs.CL
Fast Extraction of Word Embedding from Q-contexts
South China University of Technology（华南理工大学）；University of Cambridge（剑桥大学）；Tencent Quantum Lab（腾讯量子实验室）；Tsinghua University（清华大学）
词嵌入的概念在自然语言处理（NLP）中起着基础性的作用。然而，对于大多数现有方法来说，针对非常大规模的词汇的预训练词嵌入在计算上是具有挑战性的。在这项工作中，我们表明，只有一小部分的上下文（Q-上下文），这是典型的在整个语料库（和他们的互信息与单词），可以构建高质量的词嵌入可以忽略不计的错误。将上下文和词之间的互信息规范地编码为采样状态，从而可以快速构造Q-上下文。此外，我们提出了一个高效和有效的WEQ方法，这是能够提取词嵌入直接从这些典型的背景。在实际情况下，我们的算法运行11 $\sim$ 13倍的速度比完善的方法。通过与矩阵分解、word2vec、GloVe和fasttext等知名方法的比较，我们证明了我们的方法在各种下游NLP任务上都取得了相当的性能，同时保持了所有这些基线的运行时间和资源优势。
2021-09-15 cs.AI cs.CL
A visual observation on the geometry of UMAP projections of the difference vectors of antonym and synonym word pair embeddings
Faculty of Information Technology, University of Jyväskylä（于韦斯屈莱大学信息科技学院）；HUS Helsinki University Hospital（赫尔辛基大学医院）；Digital Workforce Services（数字劳动力服务）
本文通过UMAP投影分析反义词与同义词词对嵌入差向量的几何特性，发现特定投影下出现独特的漩涡结构，探讨了Transformer模型中概念编码的几何表示方法。
2026-03-25 cs.CL cs.LG
Improving Chinese Segmentation-free Word Embedding With Unsupervised Association Measure
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Shanghai Advanced Research Institute（上海高等研究院）；Shanghai Carbon Data Research Center（上海碳数据研究中心）；Centre for Excellence in Brain Science and Intelligence Technology（脑科学与智能技术卓越创新中心）
最近关于无分割词嵌入（sembei）的工作为未分割的语言开发了一种新的词嵌入管道，同时避免了作为预处理步骤的分割。然而，在嵌入词汇表中存在太多的噪声n-gram，这些噪声n-gram在字符之间不具有强的关联强度，这将限制学习的词嵌入的质量。针对这一问题，提出了一种新的无分割词嵌入模型，该模型通过一种新的无监督关联测度--带时间信息的逐点关联（PATI）来收集n-gram词汇。与常用的n-gram过滤方法（如sembei中使用的频率和逐点互信息（PMI））相比，该方法利用了语料库中更多的潜在信息，从而能够在未分割的语言数据（如中文文本）中收集更多具有更强凝聚力的有效n-gram作为嵌入目标。在中文SNS数据上的进一步实验表明，该模型提高了下游任务中词嵌入的性能。
2020-07-05 cs.CL cs.LG
Comparing a statistical and a rule-based tagger for German
在本文中，我们提出了比较的结果，德国的统计标记的基础上决策树和基于规则的Brill-Tagger德国。我们使用相同的训练语料库（因此使用相同的标记集）来训练两个标记器。然后，我们将标记器应用于相同的测试语料库，并比较它们各自的行为，特别是它们的出错率。这两个标签执行类似的出错率约为5%。从详细的错误分析可以看出，基于规则的标注器比统计标注器在未登录词方面存在更多的问题。但是对于多方面模糊的标记，结果是相反的。如果在外部词典（例如Gertwol系统）的帮助下将未知词馈送到标记器中，则基于规则的标记器的出错率下降到4.7%，并且统计标记器的相应比率下降到约3.7%。通过使用一个标记器的输出来帮助另一个标记器来组合标记器并没有导致任何进一步的改进。
1998-11-11 cs.CL
BERT Goes Shopping: Comparing Distributional Models for Product Representations
Bocconi University（博科尼大学）；Coveo；Coveo AI Labs（Coveo人工智能实验室）
词嵌入（例如，word 2 vec）已通过~ \textit{prod2vec}成功应用于电子商务产品。受最近上下文嵌入带来的几个NLP任务的性能改进的启发，我们建议将BERT类架构转移到电子商务中：我们的模型-- ~ \textit{Prod2BERT} --经过训练，通过掩码会话建模生成产品的表示。通过对多个商店、不同任务和一系列设计选择的广泛实验，我们系统地比较了~ \textit{Prod2BERT}和~ \textit{prod2vec}嵌入的准确性：虽然~ \textit{Prod2BERT}在几种情况下都是优越的，但我们强调了资源和超参数在最佳性能模型中的重要性。最后，我们提供了指导方针，从业人员在各种计算和数据的约束下训练嵌入。
2021-06-23 cs.CL cs.IR
An Unsupervised Character-Aware Neural Approach to Word and Context Representation Learning
University of Siena（锡耶纳大学）；University of Firenze（佛罗伦萨大学）
在过去的几年中，神经网络已被广泛用于开发有意义的单词和上下文的分布式表示。当这些表征，也被称为“嵌入”，从无监督的大型语料库中学习，它们可以被转移到不同的任务中，在性能方面具有积极的影响，特别是当只有少数监督可用时。在这项工作中，我们进一步扩展了这一概念，并提出了一种无监督的神经架构，它可以联合学习单词和上下文嵌入，将单词作为字符序列进行处理。这使得我们的模型能够发现由于单词形态而导致的错误，并避免需要固定大小的单词输入词汇表。我们表明，我们可以学习紧凑的编码器，尽管参数数量相对较少，但在下游任务中达到高水平的性能，将它们与相关的最先进的方法或完全监督的方法进行比较。
2019-07-19 cs.CL cs.LG stat.ML
RPD: A Distance Function Between Word Embeddings
University of Washington（华盛顿大学）；Nanjing University（南京大学）
众所周知，不同的算法、训练过程和语料库会产生不同的词嵌入。然而，对不同嵌入空间之间的关系知之甚少，即不同的嵌入集合彼此偏离多远。在本文中，我们提出了一种新的度量称为相对成对内积距离（RPD）量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质，我们系统地研究了不同算法的词嵌入之间的关系，并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足，并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
Text Classification based on Word Subspace with Term-Frequency
University of Tsukuba（筑波大学）；Center for Artificial Intelligence Research (C-Air)（人工智能研究中心（C-Air））
由于数字形式的文本的快速增长，文本分类变得不可或缺。在过去的三十年里，人们一直在努力使用各种学习算法和基于词袋（BOW）特征的统计模型来实现这一任务。尽管其简单的实现，BOW功能缺乏语义表示。为了解决这个问题，神经网络开始被用来学习单词向量，比如word2vec。Word2vec将词的语义结构嵌入到向量中，向量之间的角度表示词之间有意义的相似性。为了度量文本之间的相似性，我们提出了词子空间的新概念，它可以表示一组词向量中特征的内在变化。通过这个概念，可以在保持语义信息的同时从词向量对文本进行建模。为了将词频直接纳入子空间模型，我们进一步扩展词子空间的词频（TF）加权词子空间。基于这些新概念，文本分类可以在互子空间方法（MSM）框架下进行。通过在路透社文本数据库上的实验，将结果与各种最先进的算法进行比较，证明了我们建模的有效性。
2018-06-08 cs.CL cs.LG stat.ML
A Comprehensive Comparison of Word Embeddings in Event & Entity Coreference Resolution
ULiege/HEC Liege（列日大学/列日高等商学院）
共指消解是一项重要的自然语言处理任务，大多数最先进的方法都依赖于词嵌入来表示词。然而，在文献中很大程度上被忽视的一个问题是，在这项任务中，比较不同嵌入的性能。因此，我们在事件和实体共指消解（EvCR & EnCR）的背景下构建我们的研究，并解决两个问题：1）在性能（预测和运行时间）和嵌入大小之间是否存在权衡？2)嵌入的性能在家族内部和家族之间如何比较？我们的实验揭示了几个有趣的发现。首先，我们观察到嵌入大小的性能收益递减。例如，仅使用字符嵌入的模型实现了最大模型（Elmo，GloVe，Character）的86%的性能，而其大小为1.2%。其次，使用多个嵌入的较大模型总体上学习得更快，尽管每个时期较慢。但是，在测试时仍然较慢。最后，Elmo在EvCR和EnCR上表现最好，而GloVe和FastText分别在EvCR和EnCR上表现最好。
2021-10-11 cs.CL cs.LG
BERT as a Teacher: Contextual Embeddings for Sequence-Level Reward
ETH Zürich（苏黎世联邦理工学院）
在许多学习框架中，根据一组参考来衡量生成的序列的质量是一个核心问题，无论是计算分数，分配奖励还是执行区分。尽管模型架构有了很大的进步，但独立于引用数量的度量仍然基于n-gram估计。我们表明，底层的操作，计数的话，比较计数，可以提升到嵌入的话，比较嵌入。对BERT嵌入的深入分析表明，经验表明，可以采用上下文嵌入来捕获所需的依赖关系，同时通过适当的修剪和平滑技术保持必要的可扩展性。我们将无条件生成作为一个强化学习问题，并表明我们的奖励函数在这个具有挑战性的设置中确实提供了比n元奖励更有效的学习信号。
2020-03-05 cs.CL cs.LG stat.ML
Topic Modeling over Short Texts by Incorporating Word Embeddings
Hefei University of Technology（合肥工业大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
从大量的短文本中推断主题成为许多内容分析任务的关键但具有挑战性的任务，例如内容特征化，用户兴趣分析和新兴主题检测。现有的方法，如概率潜在语义分析（PLSA）和潜在狄利克雷分配（LDA）不能很好地解决这个问题，因为只有非常有限的词共现信息是可用的短文本。本文研究如何将外部词汇相关知识融入到短文中，以提高话题建模的连贯性。基于词嵌入从大规模语料库中学习词的语义表示的最新研究成果，本文提出了一种新的从短文本中学习潜在主题的方法--基于嵌入的主题模型（Embedding-based Topic Model，ETM）。ETM不仅通过将短文本聚合成长伪文本来解决非常有限的词共现信息的问题，而且还利用马尔可夫随机场正则化模型，该模型使相关词有更好的机会被放入同一主题中。在真实数据集上的实验验证了该模型的有效性。
2016-09-27 cs.CL cs.IR cs.LG
Ordering-sensitive and Semantic-aware Topic Modeling
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
文本语料库的主题建模是一个重要而富有挑战性的问题。在大多数以前的工作中，“词袋”的假设通常是忽略了单词的顺序。这种假设简化了计算，但它不切实际地丢失了上下文中单词的排序信息和语义。本文提出了一种高斯混合神经主题模型（GMNTM），它将词的排序和句子的语义结合到主题建模中。具体来说，我们将每个主题表示为多维向量的聚类，并将语料库嵌入到由高斯混合模型生成的向量集合中。每个词不仅受其主题的影响，还受其周围词的嵌入向量和上下文的影响。高斯混合分量和文档、句子和单词的主题可以联合学习。大量的实验表明，我们的模型可以学习更好的主题和更准确的词分布为每个主题。定量分析表明，与现有的主题建模方法相比，GMNTM在困惑度、检索准确率和分类准确率方面都有明显的提高。
2015-02-12 cs.CL cs.IR cs.LG
Towards Understanding Spontaneous Speech: Word Accuracy vs. Concept Accuracy
在本文中，我们描述了一种方法来自动评估的语音识别和理解能力的口语对话系统的训练时间表信息。我们使用单词准确度进行识别，使用概念准确度进行理解性能判断。这两个指标都是通过将这些模块的输出与正确的参考答案进行比较来计算的。我们报告的评价结果约10000话语的自发语音语料库。我们观察到单词准确性和概念准确性之间几乎呈线性关系。
1996-05-15 cmp-lg cs.CL
Affect Enriched Word Embeddings for News Information Retrieval
Adobe（奥多比）
词的分布式表示已被证明是有用的，以提高效率的IR系统在许多子任务，如查询扩展，检索和排名。像word 2 vec、GloVe等算法也是不同NLP任务中许多改进的关键因素。这种嵌入模型的一个常见问题是，像快乐和悲伤这样的词出现在类似的上下文中，因此在嵌入空间中被错误地聚集在一起。在本文中，我们利用Aff 2 Vec，一组词嵌入模型，其中包括影响信息，以更好地捕捉新闻文本中的影响方面，以实现更好的结果在信息检索任务，也这样的嵌入是由同义词/反义词的问题较少击中。我们评估其有效性的两个IR相关的任务（查询扩展和排名）在纽约时报数据集（TREC-core '17）比较他们对其他词嵌入为基础的模型和经典的排名模型。
2019-09-04 cs.CL cs.IR
Values That Are Explicitly Present in Fairy Tales: Comparing Samples from German, Italian and Portuguese Traditions
NOVA University of Lisbon（里斯本新大学）；School of Communication and Media Studies, IPL（葡萄牙IPL传播与媒体研究学院）；University of Milan（米兰大学）
本文利用带指南针的词嵌入和定制 Word2Vec 模型，比较德、意、葡童话中价值词的距离与共性，提出可复现的历史语料价值观分析方法，并发现泛欧文化记忆的迹象。
2024-05-06 cs.CL cs.CY
Subword Tokenization Strategies for Kurdish Word Embeddings
Department of Linguistics, University at Buffalo, Buffalo NY, USA（语言学系，布法罗大学，布法罗纽约州）
针对库尔德语低资源词嵌入任务，对比三类分词策略，发现BPE存在评估偏差，基于语素的分词综合表现更优，为低资源语言分词评估与方法选择提供参考。
2025-11-18 cs.CL
Statistical Uncertainty in Word Embeddings: GloVe-V
Stanford University（斯坦福大学）
针对静态词嵌入下游结论统计不确定性评估难的问题，该研究提出基于多元正态解析近似的GloVe-V方法，可生成GloVe的可扩展方差估计，支撑词嵌入相关的标准化假设检验。
2024-06-18 cs.CL
Towards Automatic Construction of Filipino WordNet: Word Sense Induction and Synset Induction Using Sentence Embeddings
De La Salle University（德拉萨大学）；Samsung R&D Institute Philippines（三星菲律宾研发院）
本研究提出一种仅依赖未标注语料库和句子嵌入语言模型进行词义与同义词集归纳的方法，并应用于 Filipino 文本，实证表明30%归纳词义有效、40%归纳同义词集有效（含20%新颖集），助力低资源语言 wordnet 自动构建。
2023-10-19 cs.CL
Learning Topics using Semantic Locality
Syracuse University（雪城大学）
主题建模发现给定文本文档的潜在主题概率。为了生成更有意义的主题，更好地代表给定的文档，我们提出了一种新的特征提取技术，可用于数据预处理阶段。该方法包括三个步骤。首先，它从每个文档中生成单词/单词对。其次，采用双向TF-IDF算法对词/词对进行语义过滤。第三，利用K-means算法对语义相似的词对进行合并。实验在开放电影数据库（OMDb）、路透社数据集和20 NewsGroup数据集上进行。平均平均精度得分用作评估指标。比较我们的结果与其他国家的最先进的主题模型，如潜在的Dirichlet分配和传统的限制玻尔兹曼机。我们提出的数据预处理可以提高生成的主题准确率高达12.99%。
2018-04-11 cs.CL cs.IR cs.LG
Sense Embedding Learning for Word Sense Induction
University of Rochester（罗切斯特大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
传统的词义归纳（WSI）方法通常用离散的语言特征或共现特征来表示每个实例，并为每个多义词单独训练模型。在这项工作中，我们建议学习的WSI任务的意义嵌入。在训练阶段，我们的方法诱导几个意义中心（嵌入）为每个多义词。在测试阶段，我们的方法将每个实例表示为上下文向量，并通过在嵌入空间中找到最近的意义质心来归纳其意义。该方法的优点在于：（1）采用分布式意义向量作为知识表示，并进行区分性训练，通常比传统的基于计数的分布式模型具有更好的性能;（2）在多任务学习框架下，联合训练整个词汇的通用模型，以诱导意义中心。在SemEval-2010 WSI数据集上进行评估，我们的方法优于所有参与者和大多数最新的最先进的方法。我们通过与精心设计的基线进行比较，进一步验证了这两个优势。
2016-06-22 cs.CL
Using Word Embeddings in Twitter Election Classification
University of Glasgow（格拉斯哥大学）
词嵌入和卷积神经网络（CNN）在Twitter的各种分类任务中引起了广泛的关注，例如情感分类。然而，用于训练和生成词嵌入的配置对分类性能的影响在现有文献中尚未研究。在本文中，使用Twitter的选举分类任务，旨在检测选举相关的推文，我们调查的背景数据集用于训练的嵌入模型，上下文窗口大小和维数的词嵌入的分类性能的影响。通过比较两个词嵌入模型的分类结果，这两个模型使用不同的背景语料（例如维基百科文章和Twitter微帖子）进行训练，我们表明背景数据类型应该与Twitter分类数据集保持一致，以实现更好的性能。此外，通过评估使用各种上下文窗口大小和维度训练的词嵌入模型的结果，我们发现大的上下文窗口和维度大小更有利于提高性能。我们的实验结果还表明，使用词嵌入和CNN导致统计上显着的改善，在各种基线，如随机，支持向量机与TF-IDF和支持向量机与词嵌入。
2017-03-21 cs.CL cs.IR
Transparent Semantic Spaces: A Categorical Approach to Explainable Word Embeddings
Valencian Research Institute for Artificial Intelligence (VRAIN)（瓦伦西亚人工智能研究 institute）；Universitat Politècnica de València（瓦伦西亚理工大学）
本文提出基于范畴论的透明语义空间框架，通过构造文本语义范畴和词嵌入范畴，证明GloVe、Word2Vec与度量MDS算法的等价性，并给出嵌入前计算与缓解偏置的数学方法，以提升词嵌入的可解释性。
2025-08-28 cs.AI cs.CL math.CT
A Novel Comprehensive Approach for Estimating Concept Semantic Similarity in WordNet
Zhejiang University（浙江大学）；Tarim University（塔里木大学）；Princeton University（普林斯顿大学）
概念间语义相似度的计算是许多研究工作的重要基础。本文重点研究了概念相似度计算方法和概念相似度度量，即利用分类法的拓扑参数来估计概念之间的语义相似度。在分析了典型的语义相似度计算方法和典型的语义相似度度量方法的基础上，提出了一种新的混合语义相似度计算方法。通过引入参数dhyp和lch，利用新的概念间相似度计算方法，提出了一种新的概念间语义相似度的综合度量方法。基于WordNet“is a”分类法，在基准数据集R&G上进行了实验，结果表明该方法能明显提高相似度的准确性。我们评估所提出的方法，通过比较五个措施和人工数据之间的相关系数。结果表明，我们的建议优于以前的措施。
2017-03-06 cs.CL
An Exploratory Analysis on the Explanatory Potential of Embedding-Based Measures of Semantic Transparency for Malay Word Recognition
University of Tübingen（图宾根大学）
本研究通过词嵌入和位移向量等方法构建语义透明度测量指标，并在马来语前缀词数据上验证其对词汇判断反应时的预测作用，发现词与质心相关性模型拟合最佳。
2025-05-09 cs.CL
Coarse-Grained Sense Inventories Based on Semantic Matching between English Dictionaries
Nagoya Institute of Technology（名古屋工业大学）；Muroran Institute of Technology（室兰工业大学）；Chitose Institute of Science and Technology（千岁科学技术大学）；Hokkaido University（北海道大学）
本文通过语义匹配Cambridge词典与WordNet的词义定义，构建低资源依赖、可标注CEFR等级且易于扩展的新型粗粒度词义清单，并验证其语义连贯性。
2024-09-10 cs.CL
Aligning Linguistic Words and Visual Semantic Units for Image Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanjing University of Science and Technology（南京理工大学）；Huawei Devices（华为终端）；University of Chinese Academy of Sciences（中国科学院大学）
图像描述试图生成由多个语言词组成的句子，这些语言词用于描述图像中的对象、属性和交互，在本文中表示为视觉语义单元。基于这一观点，本文提出了基于图卷积网络（Graph Convolutional Networks，GCN）的语义和几何对象交互模型，并充分利用语言词和视觉语义单元之间的对齐关系来实现图像描述。特别地，我们构造语义图和几何图，其中每个节点对应于视觉语义单元，即，对象、属性或两个对象之间的语义（几何）交互。因此，通过相应的GCN学习处理器获得每个单元的语义（几何）上下文感知嵌入。在每一个时间步，上下文门控注意模块作为输入的嵌入的视觉语义单元和分层对齐的当前单词与这些单元，首先决定哪种类型的视觉语义单元（对象，属性，或交互）的当前单词是关于，然后找到最相关的视觉语义单元下的这种类型。在具有挑战性的MS-COCO图像描述数据集上进行了广泛的实验，并报告了与最先进方法相比的优越结果。
2019-08-06 cs.CL cs.CV cs.LG
Using Word Embeddings to Examine Gender Bias in Dutch Newspapers, 1950-1990
DHLab KNAW Humanities Cluster（荷兰皇家艺术与科学学院人文集群数字实验室）
当代关于公共和社交媒体中的过滤泡沫和两极分化的辩论提出了一个问题，即过去的新闻媒体在多大程度上表现出偏见。本文专门探讨偏见有关的性别在1950年和1990年之间的六个荷兰全国性报纸。我们通过比较在具有不同意识形态背景的报纸上训练的词嵌入模型的局部变化来衡量与性别相关的偏见。我们展示了性别偏见的明显差异，以及随着时间的推移报纸内部和之间的变化。在性和休闲等主题方面，我们看到偏向女性的倾向，而一般来说，偏向男性的倾向，尽管女性就业人数和女权主义运动不断增加。尽管荷兰社会在意识形态上变得不那么分层（去支柱化），但我们发现宗教和社会民主派与自由派报纸之间的性别偏见越来越大。在方法论上，本文阐述了如何利用词嵌入来考察历史语言变化。未来的工作将研究如何微调深度上下文嵌入模型，如ELMO，可能用于具有更多上下文信息的类似任务。
2019-07-21 cs.CL cs.CY cs.LG
