Evaluating Word Embedding Hyper-Parameters for Similarity and Analogy Tasks
Duke University（杜克大学）；IBM Research（IBM研究院）
词嵌入在各种应用中的多功能性吸引了来自各个领域的研究人员。然而，超参数在训练嵌入模型时的影响往往知之甚少。向量维度和语料库大小等超参数对嵌入质量的影响有多大，这些结果如何转化为下游应用？使用标准的嵌入评估指标和数据集，我们进行了一项研究，以实证方式衡量这些超参数的影响。
2018-04-11 cs.CL
When Claims Evolve: Evaluating and Enhancing the Robustness of Embedding Models Against Misinformation Edits
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；World Bank（世界银行）；New York University（纽约大学）；Meedan
本文提出扰动框架评估嵌入模型对声明编辑的鲁棒性，发现LLM蒸馏模型更稳健但成本更高，并通过训练与推理时缓解方法显著提升声明匹配系统的域内外性能。
2025-06-05 cs.AI cs.CL
Evaluating the Utility of Document Embedding Vector Difference for Relation Learning
最近的工作表明，通过减去预训练的词嵌入向量获得的向量偏移量可以用于预测词汇关系，具有惊人的准确性。受这一发现的启发，在本文中，我们将这个想法扩展到文档级，生成文档级嵌入，计算它们之间的距离，并使用线性分类器对文档之间的关系进行分类。在重复检测和对话行为标记任务的背景下，我们表明，文档级差异向量在评估文档级相似性方面具有实用性，但在多关系分类中表现不佳。
2019-07-18 cs.CL
Wasserstein distances for evaluating cross-lingual embeddings
Salesforce（赛富时）；Expedia Group（亿客行集团）
词嵌入是词的高维向量表示，其在向量空间中捕获它们的语义相似性。有几种算法用于学习这种嵌入，既为一种语言，以及为几种语言联合。在这项工作中，我们建议通过适应下游自然语言任务的最佳运输框架，以评估集合的嵌入。我们展示了如何家庭的Wasserstein距离可以用来解决跨语言的文档检索和跨语言的文档分类问题。我们认为这种方法的优势相比，更传统的评价方法，如双语词汇归纳嵌入。我们的实验结果表明，在这些问题上使用Wasserstein距离的性能优于几个强基线，并与最先进的模型相当。
2019-11-11 cs.CL
The Effect of Downstream Classification Tasks for Evaluating Sentence Embeddings
Microsoft Research Montreal（微软研究院蒙特利尔）
一种用于定量评估句子嵌入效用的流行方法涉及在需要句子表示作为输入的下游语言处理任务中使用它们。一个简单的任务是分类，其中句子表示用于在多个分类数据集上训练和测试模型。我们认为，通过以这种方式评估句子表示，表示的目标成为学习一个低维分解的任务标签矩阵。我们展示了这个矩阵的特性如何影响低维分解作为一套分类任务中的句子表示的能力。首先，在所有可能的分类任务中具有更多标签的句子具有更高的重建损失，然而这种效果的一般性质最终取决于标签在所有可能句子中的总体分布。
2019-05-27 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Sciences（数学与计算机科学学院）；Federal University of São Carlos（圣卡洛斯联邦大学）
已经发现词嵌入以有效的方式为词提供有意义的表示;因此，它们在自然语言处理系统中变得普遍。在本文中，我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型，包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价，在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明，词类比是不适合词嵌入评价，任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
Evaluating Contextualized Embeddings on 54 Languages in POS Tagging, Lemmatization and Dependency Parsing
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了一个广泛的评估，最近提出的三种方法，在89个语料库中的54种语言的通用嵌入2.3在三个任务：词性标注，词形还原，和依存句法分析的上下文嵌入。采用BERT，Flair和ELMo作为UDPipe 2.0强基线的预训练嵌入输入，UDPipe 2.0是CoNLL 2018共享任务的最佳系统之一，也是EPE 2018的总冠军，我们对三种上下文化的词嵌入方法进行了一对一的比较，以及与word2vec类预训练嵌入和与端到端字符级词嵌入的比较。我们报告了所有三个任务的最新结果，与CoNLL 2018共享任务中UD 2.2的结果相比。
2019-08-20 cs.CL
Evaluating the Underlying Gender Bias in Contextualized Word Embeddings
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
性别偏见严重影响着自然语言处理应用。词嵌入已被明确证明既保持又放大了当前数据源中存在的性别偏见。最近，上下文化的词嵌入通过计算依赖于它们出现在其中的句子的词向量表示来增强先前的词嵌入技术。在本文中，我们研究的影响，这种概念的变化，在词嵌入计算与性别偏见。我们的分析包括不同的措施，以前在文献中应用到标准的词嵌入。我们的研究结果表明，语境化的词嵌入是更少的偏见比标准的，即使后者是去偏见。
2019-04-18 cs.CL cs.LG
Learning and Evaluating Sparse Interpretable Sentence Embeddings
ETH Zürich（苏黎世联邦理工学院）
之前对词嵌入的研究表明，稀疏表示可以在现有的密集嵌入之上学习，也可以在训练期间通过模型约束获得，具有增加可解释性的好处：在某种程度上，每个维度都可以被人类理解，并与数据中的可识别特征相关联。在本文中，我们把这个想法转移到句子嵌入，并探讨了几种方法来获得稀疏表示。我们进一步介绍了一种新的，定量的和自动化的评价指标句子嵌入可解释性，基于主题连贯性的方法。我们观察到增加的可解释性相比，密集的模型，电影对话的数据集和场景描述从MS COCO数据集。
2018-09-25 cs.CL
Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings
University of Liverpool（利物浦大学）
针对预训练语言模型句子嵌入高维性在资源受限设备上的问题，评估无监督降维方法，发现PCA等能降低近50%维度且不损失性能，甚至部分任务中进一步提升表现。
2024-03-20 cs.CL
Evaluating Word Embeddings for Sentence Boundary Detection in Speech Transcripts
CPqD
本文的动机是自动化的神经心理学测试，涉及话语分析的复述叙述的患者有潜在的认知障碍。在这种情况下，语音转录中的句子边界检测的任务是重要的，因为话语分析涉及自然语言处理工具的应用，例如标记器和解析器，其依赖于句子作为处理单元。在本文中，我们的目的是验证嵌入感应方法最适合句子边界检测任务，特别是它是否是那些被提出来捕捉语义，句法或形态相似性。
2017-08-15 cs.CL
Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
Independent Researcher, USA（美国独立研究者）；Independent Researcher, Japan（日本独立研究者）
本文通过评估预训练变换器嵌入在欺骗分类中的效果，发现BERT结合逻辑回归在LIAR数据集上表现最佳，证明了上下文自注意力编码的有效性。
2025-11-28 cs.AI cs.CL cs.LG
Evaluating Word Embedding Models: Methods and Experimental Results
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）
在这项工作中，大量的词嵌入模型的语言处理应用进行了广泛的评估。首先，我们介绍了流行的词嵌入模型，并讨论了词模型和评估方法（或评估器）所需的属性。然后，我们将评价者分为内在和外在两种类型。内在评估独立于特定的自然语言处理任务测试表示的质量，而外在评估使用词嵌入作为下游任务的输入特征，并测量特定于该任务的性能指标的变化。我们报告的实验结果的内在和外在的评价六个词嵌入模型。结果表明，不同的评价者侧重于词模型的不同方面，有些人更相关的自然语言处理任务。最后，我们采用相关性分析来研究内外部评价者的绩效一致性。
2019-01-29 cs.CL
Evaluating Unsupervised Dutch Word Embeddings as a Linguistic Resource
CLiPS, University of Antwerp（安特卫普大学CLiPS）
词嵌入最近由于在各种任务上的强大性能增益而引起了人们的强烈兴趣。然而，大多数研究也强调了基准数据集的重要性，以及为各种特定语言任务构建这些数据集的难度。尽管如此，这些任务中使用的许多数据集可能被证明是富有成效的语言资源，允许对语言使用和变异性进行独特的观察。在本文中，我们展示了多种类型的嵌入，创建计数和基于预测的架构上的各种语料库，在两个语言特定的任务：关系评估，方言识别的性能。对于后者，我们将无监督方法与传统的手工字典进行比较。通过这项研究，我们提供了嵌入本身，关系评估任务基准用于进一步的研究，并展示了基准嵌入如何证明一个有用的无监督的语言资源，有效地用于下游任务。
2016-07-01 cs.CL
Evaluating Bias In Dutch Word Embeddings
Maastricht University（马斯特里赫特大学）
自然语言处理的最新研究表明，词嵌入可以对训练数据中存在的社会偏见进行编码，这可能会影响现实世界应用中的少数群体。本文探讨了荷兰语嵌入隐含的性别偏见，同时调查是否英语为基础的方法也可以在荷兰语中使用。我们实现了词嵌入关联测试（WEAT），聚类和句子嵌入关联测试（SEAT）的方法来量化荷兰语词嵌入中的性别偏见，然后我们继续减少与硬Debias和发送Debias缓解方法的偏见，最后我们评估的下游任务中的debiased嵌入的性能。结果表明，除其他外，性别偏见是存在于传统的和语境化的荷兰语词嵌入。我们强调如何使用的技术来衡量和减少偏见创建英语可以在荷兰嵌入充分翻译的数据，并考虑到语言的独特性。此外，我们分析了去偏置技术对下游任务的影响，这些任务对传统嵌入的影响可以忽略不计，而在上下文化嵌入中，性能下降了2%。最后，我们将翻译后的荷兰语数据集与传统的嵌入一起发布给公众，以减轻偏见。
2020-11-03 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design（新加坡科技设计大学）
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上，几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标，训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词，建模的上下文嵌入率矩阵的泰勒级数。我们表明，不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较，并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标，提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础，同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Evaluating Neural Word Embeddings for Sanskrit
IIT Kanpur（印度理工学院坎普尔分校）；Vellore Institute of Technology（韦洛尔理工大学）；Tata Consultancy Services（塔塔咨询服务公司）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
最近，监督学习范式令人惊讶的显着性能已经获得了相当大的关注，从梵文计算语言学家。因此，梵语社区为各种下游自然语言处理（NLP）任务构建特定于任务的标记数据做出了值得称赞的努力。这些方法的主要组成部分来自词嵌入的表示。词嵌入有助于转移从现成的未标记数据中学习到的知识，以提高低资源环境下的特定任务绩效。在过去的十年里，梵语数字化领域有很多令人兴奋的事情。为了有效地利用这些现成的资源，有必要对梵语的词嵌入方法进行系统的研究。在这项工作中，我们调查的有效性词嵌入。我们将词嵌入分为大类，以促进系统的实验，并在四个内在任务中对其进行评估。我们调查的嵌入方法（最初提出的梵语以外的语言）的梵语以及语言所带来的各种挑战的有效性。
2021-04-01 cs.CL
Evaluating KGR10 Polish word embeddings in the recognition of temporal expressions using BiLSTM-CRF
Wroclaw University of Technology（弗罗茨瓦夫理工大学）
本文介绍了一组新的波兰语词嵌入，使用KGR 10语料库，其中包含超过40亿个单词。这些嵌入评估的时间表达式（时间）的波兰语言的识别问题。我们描述了KGR 10语料库的创建过程和一种新的识别方法，使用双向长短期记忆（BiLSTM）网络与额外的CRF层，其中特定的嵌入是必不可少的。我们介绍了实验和从中得出的结论。
2019-04-03 cs.CL cs.LG stat.ML
Evaluating Embeddings for One-Shot Classification of Doctor-AI Consultations
Instituto Politécnico Nacional (IPN)（墨西哥国立理工学院）；Centro de Investigación en Computación (CIC)（计算机研究中心）；Montclair State University（蒙特克莱尔州立大学）
本研究评估多种嵌入方法在一次性分类中区分医生与AI生成的医疗咨询文本，发现Word2Vec、GloVe和字符n-gram表现最佳，显著提升稀缺数据下的沟通质量。
2024-02-06 cs.CL
Evaluating Word Embeddings with Categorical Modularity
Harvard University（哈佛大学）；MPI for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）；HSE University（高等经济学院）
我们引入范畴模块性，一种新的低资源的内在度量来评估词嵌入质量。类别模块度是一种基于$k$ -最近邻图的图模块度度量，该图是用来自一组固定语义类别的词的嵌入向量构建的，其目标是度量在同一类别中具有最近邻的词的比例。我们使用的核心集属于59神经生物学动机的语义类别在29种语言的500个单词，并分析每种语言的三个词嵌入模型（FastText，MUSE和subs 2 vec）。我们发现中度到强烈的正相关性之间的分类模块和性能的单语任务的情感分析和词相似度计算和跨语言任务的双语词汇归纳和英语。总的来说，我们认为，分类模块化提供了非平凡的预测信息下游任务的性能，与故障的相关性模型提出了一些元预测属性的语义信息丢失以及。
2021-06-02 cs.CL
Evaluating the Calibration of Knowledge Graph Embeddings for Trustworthy Link Prediction
University of Michigan（密歇根大学）；Bloomberg（彭博（公司））
关于知识图谱嵌入（KGE）模型预测的可信度知之甚少。在本文中，我们朝着这个方向采取初步措施，通过调查KGE模型的校准，或在何种程度上，他们输出的信心分数，反映了预期的正确性预测知识图谱三元组。我们首先进行评估下的标准封闭世界假设（CWA），其中预测的三元组还没有在知识图谱被认为是假的，并表明现有的校准技术是有效的KGE在这个共同的，但狭窄的假设。接下来，我们介绍更现实但具有挑战性的开放世界假设（OWA），其中未观察到的预测在获得地面真实标签之前不被认为是真的或假的。在这里，我们表明，现有的校准技术是有效的OWA下比CWA，并提供这种差异的解释。最后，为了从从业者的角度激励KGE校准的实用性，我们进行了一个独特的人类-AI协作案例研究，表明校准的预测可以提高人类在知识图谱完成任务中的表现。
2020-10-06 cs.AI cs.CL cs.LG
Circles are like Ellipses, or Ellipses are like Circles? Measuring the Degree of Asymmetry of Static and Contextual Embeddings and the Implications to Representation Learning
IBM
人类对词相似度的判断已经成为评价词嵌入质量的一种流行方法。但它不能测量几何性质，如不对称性。例如，说“椭圆像圆”比“圆像椭圆”更自然。这种不对称性已经从一个名为单词唤起实验的精神分析测试中观察到，其中一个单词被用来回忆另一个单词。虽然有用，但这些实验数据在测量嵌入质量方面的研究严重不足。在本文中，我们使用三个著名的唤起数据集来深入了解嵌入的不对称编码。我们研究静态嵌入和上下文嵌入，如BERT。由于嵌入的动态特性，通常很难评估BERT的不对称性。因此，我们探测BERT的条件概率（作为一个语言模型）使用大量的维基百科上下文推导出一个理论上合理的贝叶斯不对称分数。结果表明，上下文嵌入在相似性判断上比静态嵌入表现出随机性，而在不对称性判断上表现良好，这与其在文本分类等“外部评价”上的强大表现相一致。不对称判断和贝叶斯方法提供了一个新的视角来评估上下文嵌入的内在评价，它的相似性评价的比较结束了我们的工作与表示学习的现状和未来的讨论。
2020-12-03 cs.AI cs.CL
No Word Embedding Model Is Perfect: Evaluating the Representation Accuracy for Social Bias in the Media
Leibniz University Hannover（汉诺威莱布尼茨大学）；Universität Hamburg（汉堡大学）
新闻文章塑造并反映了整个政治领域的公众舆论。因此，分析它们的社会偏见可以提供有价值的见解，例如社会和媒体中普遍存在的刻板印象，这些刻板印象通常被在相应数据上训练的NLP模型所采用。最近的工作依赖于词嵌入偏差的措施，如WEAT。然而，嵌入的几个表示问题可能会损害测量的准确性，包括低资源设置和令牌频率差异。在这项工作中，我们研究了什么样的嵌入算法最适合准确地测量已知存在于美国在线新闻文章中的社会偏见类型。为了涵盖美国政治偏见的整个范围，我们收集了50万篇文章，并回顾了心理学文献中关于预期社会偏见的内容。然后，我们使用WEAT以及嵌入算法来量化社会偏见，这些算法可以解释上述问题。我们比较了用新闻文章的算法训练的模型如何代表预期的社会偏见。我们的研究结果表明，量化偏见的标准方法与心理学知识并不一致。虽然所提出的算法减少~差距，他们仍然不完全匹配的文献。
2022-11-07 cs.CL
VISLA Benchmark: Evaluating Embedding Sensitivity to Semantic and Lexical Alterations
Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究院）
本文提出VISLA基准，通过三向语义（不）等价任务评估34个VLMs和20个ULMs对语义和词汇变化的敏感性，发现VLMs文本编码器比单模态模型更敏感，揭示了模型在区分词汇与语义变化上的困难。
2024-04-25 cs.AI cs.CL
Reverse Probing: Evaluating Knowledge Transfer via Finetuned Task Embeddings for Coreference Resolution
German Research Centre for Artificial Intelligence（德国人工智能研究中心）；Saarland Informatics Campus（萨尔兰信息学园区）；Technische Universität Berlin（柏林工业大学）
该研究提出反向探测框架，以共指消解为目标任务，评估多个简单源任务的微调嵌入的知识迁移效果，发现语义相似任务嵌入效用最高，中间层表征更优，多任务嵌入结合可显著提升性能。
2025-03-21 cs.CL
Evaluating NLP Embedding Models for Handling Science-Specific Symbolic Expressions in Student Texts
Physics Education Group, Leibniz University Hannover（莱布尼茨汉诺威大学物理教育组）；Leibniz Institute for Science and Mathematics Education（莱布尼茨科学与数学教育研究所）
本研究针对当前NLP嵌入模型难以处理科学文本中符号表达式的问题，用真实学生物理回答中的符号表达式，通过相似度分析和机器学习流水线集成两种方法评估多款嵌入模型，发现GPT-text-embedding-3-large性能最优但优势中等，为教育数据挖掘的模型选择提供参考。
2025-10-22 cs.AI cs.CL physics.ed-ph
Evaluating Embedding Generalization: How LLMs, LoRA, and SLERP Shape Representational Geometry
Department of Computer Science University of Fort Hare（计算机科学系大学弗利特哈雷）
该研究探讨了LLM、LoRA和SLERP在嵌入泛化中的作用，发现SLERP融合能有效恢复基础模型结构并提升聚类性能。
2025-11-16 cs.AI cs.CL cs.LG
Evaluating the Effectiveness of Large Language Models in Representing Textual Descriptions of Geometry and Spatial Relations
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究通过GPT-2和BERT编码WKT几何文本并评估其嵌入，发现LLM可保留几何类型和部分空间关系但数值估计与空间检索仍不足，强调需融合领域知识以改进GeoAI基础模型。
2023-07-05 cs.AI cs.CL cs.LG
Evaluating Embedding Frameworks for Scientific Domain
University of Oxford（牛津大学）；QunaSys
针对科学领域，本研究旨在寻找最优词表示与分词方法，并构建评估套件以测试多种算法，用于下游NLP任务。
2025-10-03 cs.AI cs.CL cs.LG
MoverScore: Text Generation Evaluating with Contextualized Embeddings and Earth Mover Distance
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Central Florida（中佛罗里达大学）
一个健壮的评价指标对文本生成系统的发展有着深远的影响。一个理想的度量比较系统输出和参考的基础上，他们的语义，而不是表面形式。在本文中，我们研究的策略，编码系统和参考文本设计一个度量，显示了高度相关性与人类判断的文本质量。我们验证了我们的新指标，即MoverScore，在一些文本生成任务，包括摘要，机器翻译，图像描述，和数据到文本的生成，其中的输出是由各种神经和非神经系统。我们的研究结果表明，结合上下文表示与距离测量的指标表现最好。这样的度量还展示了跨任务的强大泛化能力。为了便于使用，我们将指标作为Web服务提供。
2019-09-26 cs.CL
Beyond Architectures: Evaluating the Role of Contextual Embeddings in Detecting Bipolar Disorder on Social Media
Department of Computer Science Missouri State University Springfield, MO, USA（计算机科学系 摩西州立大学 斯普林菲尔德 MO 美国）
本文系统评估了Transformer和LSTM模型结合上下文与静态词嵌入在社交媒体双相情感障碍检测中的表现，发现RoBERTa和基于BERT嵌入的LSTM效果最佳，验证了上下文语言建模对早期筛查的重要价值。
2025-07-17 cs.AI cs.CL cs.LG
Evaluating Compositionality in Sentence Embeddings
Harvard University（哈佛大学）；Stanford University（斯坦福大学）
类人AI的一个重要挑战是组合语义。最近的研究试图通过使用深度神经网络来学习句子的向量空间嵌入来解决这个问题，然后将其作为其他任务的输入。我们提出了一个新的数据集，这样的任务，“自然语言推理”（NLI），不能只用单词级的知识来解决，需要一些组合。我们发现，最先进的句子嵌入的性能（InferSent; Conneau等人，2017）在我们的新数据集上很差。我们分析了Infersent学习的决策规则，发现它们与其训练数据集中生态有效的简单算法是一致的。此外，我们发现使用我们的数据集增强训练可以提高我们数据集的测试性能，而不会损失原始训练数据集的性能。这突出了结构化数据集在更好地理解和改进人工智能系统方面的重要性。
2018-05-17 cs.CL stat.ML
Training and Evaluating Multimodal Word Embeddings with Large-scale Web Annotated Images
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Pinterest Inc.（Pinterest公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们专注于训练和评估有效的词嵌入与文本和视觉信息。更具体地说，我们引入了一个大规模的数据集，其中包含3亿个句子，描述了从Pinterest上公开可用的Pins（即用户上传的带有句子描述的图像）中抓取和下载的4000多万张图像。这个数据集比MS COCO大200倍以上，MS COCO是一个标准的大规模图像数据集，带有句子描述。此外，我们构建了一个评估数据集，直接评估词嵌入在查找语义相似或相关的单词和短语方面的有效性。该评价数据集中的词/短语对是从图像搜索系统中数百万用户的点击数据中收集的，因此包含了丰富的语义关系。基于这些数据集，我们提出并比较了几种基于递归神经网络（RNN）的多模态（文本和图像）模型。实验表明，我们的模型的好处，将视觉信息到词嵌入，和权重共享策略是至关重要的学习这样的多模态嵌入。项目页面：http://www.stat.ucla.edu/~junhua.mao/multimodal_embedding.html
2016-11-24 cs.CL cs.CV cs.LG
Evaluating Contextual Embeddings and their Extraction Layers for Depression Assessment
Stony Brook University（石溪大学）
最近的工作已经证明了从个人话语评估心理健康方面的能力。与此同时，预先训练的上下文词嵌入模型已经成为NLP的主导，但在如何最好地将其应用于心理健康评估方面，人们知之甚少。使用抑郁程度作为案例研究，我们做了一个实证分析，现成的语言模型，单独的层，层的组合似乎最有前途时，应用于人类水平的NLP任务。值得注意的是，我们发现RoBERTa最有效，尽管过去的标准建议倒数第二层或最后4层的级联，但我们发现第19层（倒数第六层）至少与使用1层时的第23层一样好。此外，当使用多个层时，将它们分布在24层中的第二半（即层12+）而不是最后4层上产生了最准确的结果。
2022-04-28 cs.CL cs.LG
Evaluating Embedding APIs for Information Retrieval
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文在BEIR和MIRACL基准上评估语义嵌入API的领域泛化与多语言检索能力，发现对BM25结果重排序在英语中最具性价比，非英语场景下BM25混合模型效果最佳但成本更高。
2023-07-06 cs.CL cs.IR
ATEB: Evaluating and Improving Advanced NLP Tasks for Text Embedding Models
Yale University（耶鲁大学）；Google Deepmind（谷歌DeepMind）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出ATEB基准评估文本嵌入模型在事实性、安全性等高级NLP任务上的局限，并提出将分类任务重构为检索任务的新方法，通过单任务微调在事实性分类上提升8%，安全性分类上提升13%。
2025-03-03 cs.CL
Evaluating the Construct Validity of Text Embeddings with Application to Survey Questions
Utrecht University（乌得勒支大学）；University Medical Center Utrecht (UMCU)（乌得勒支大学医学中心）
来自自然语言处理的文本嵌入模型可以将文本数据（例如单词、句子、文档）映射到假定有意义的数字表示（也称为文本嵌入）。虽然这些模型越来越多地应用于社会科学研究，但一个重要的问题往往没有得到解决：这些嵌入在多大程度上是与社会科学研究相关的结构的有效表示。因此，我们建议使用经典的结构效度框架来评估文本嵌入的有效性。我们展示了这个框架如何适应文本嵌入的不透明和高维性质，并应用于调查问题。在我们的结构有效性分析中，我们包括几种流行的文本嵌入方法（例如fastText，GloVe，BERT，Sentence-BERT，Universal Sentence Encoder）。在某些情况下，我们发现收敛和判别有效性的证据。我们还表明，嵌入可以用来预测受访者的答案，全新的调查问题。此外，基于BERT的嵌入技术和通用语句编码器提供了比其他更有效的调查问题表示。因此，我们的研究结果突出了在社会科学研究中部署文本嵌入之前检查其结构效度的必要性。
2022-02-18 cs.CL cs.CY stat.AP
The Devil is in the Details: Evaluating Limitations of Transformer-based Methods for Granular Tasks
Indraprastha Institute of Information Technology Delhi（德里英迪拉普拉斯信息技术研究所）；Snap Inc.（阅后即焚公司）
近年来，从基于transformer的神经语言模型导出的上下文嵌入在诸如问答、情感分析和文本相似性等各种任务中表现出了最先进的性能。大量的工作表明，这些模型可以准确地表示文本中存在的抽象语义信息。在这个短暂的工作中，我们探索了切线方向，并分析了这些模型在需要更细粒度表示的任务上的性能。我们专注于从两个角度的文本相似性的问题：在粒度级别上匹配文档（需要嵌入捕获文本中的细粒度属性），和一个抽象的水平（需要嵌入捕获整体的文本语义）。我们通过经验证明，在来自不同领域的两个数据集上，尽管抽象文档匹配的性能如预期的那样高，但对于更细粒度的任务，上下文嵌入始终（有时，大大）优于TF-IDF等简单基线。然后，我们提出了一个简单但有效的方法，将TF-IDF模型，使用上下文嵌入，实现了高达36%的粒度任务的相对改善。
2020-11-02 cs.CL
Evaluation of Greek Word Embeddings
Athens University of Economics and Business（雅典经济与商业大学）
由于词嵌入是许多NLP任务中最受欢迎的输入，因此评估其质量至关重要。大多数的研究工作都集中在英语词嵌入。本文讨论的问题，构建和评估这种模型的希腊语言。我们创建了一个新的词类比语料库，考虑到原来的英语Word2vec词类比语料库和希腊语的一些特定的语言方面，以及。此外，我们还创建了一个希腊语版本的WordSim353语料库，用于单词相似性的基本评估。我们测试了七个词向量模型，我们的评估表明，我们能够创建有意义的表示。最后，我们发现希腊语的形态复杂性和一词多义会影响所得到的词嵌入的质量。
2020-04-04 cs.CL
RiverText: A Python Library for Training and Evaluating Incremental Word Embeddings from Text Data Streams
Department of Computer Science, University of Chile（智利大学计算机科学系）；National Center for Artificial Intelligence (CENIA)（人工智能国家中心）；Millennium Institute for Foundational Research on Data (IMFD)（数据基础研究千年研究所）
针对传统静态词嵌入难以适应动态语言模式的问题，提出Python库RiverText，基于PyTorch实现Skip-gram等增量词嵌入算法，并提供流式评估模块，为流式场景下的词嵌入训练与评估提供标准化框架。
2025-06-29 cs.CL cs.LG
Take and Took, Gaggle and Goose, Book and Read: Evaluating the Utility of Vector Differences for Lexical Relation Learning
University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）
最近关于词嵌入的工作表明，在预先训练的嵌入上进行简单的向量减法在捕获不同的词汇关系方面是惊人的有效，尽管缺乏明确的监督。先前的工作已经评估了这个有趣的结果，使用一个词的类比预测公式和手工选择的关系，但在更广泛的词汇关系类型和不同的学习设置的发现的一般性还没有得到评估。在本文中，我们进行了这样的评估，在两个学习设置：（1）谱聚类诱导词的关系，和（2）监督学习分类向量差异到关系类型。我们发现，词嵌入捕获了惊人的信息量，并且在适当的监督训练下，向量减法可以很好地推广到广泛的关系，包括看不见的词汇项。
2016-08-13 cs.CL
Evaluating Multilingual Sentence Embeddings for Translation Error Detection:An English--Greek Contrastive Study
Ionian University（爱奥尼亚大学）；Laboratory on Digital Libraries and Electronic Publishing（数字图书馆与电子出版实验室）；Centre for Literary Translation and Book Policy（文学翻译与图书政策中心）
本研究对比评估BGE-M3等5种多语言句子嵌入模型与COMETKiwi在英-希腊语翻译错误检测中的性能，发现嵌入模型与COMETKiwi的错误敏感性特征互补，嵌入模型更适合作为翻译评估框架的组成部分。
2026-09-01 cs.CL
Evaluating Metrics for Bias in Word Embeddings
Bielefeld University（比勒费尔德大学）；Faculty of Technology（工程学院）；CITEC（认知交互技术中心）
针对现有基于余弦的词嵌入偏差指标存在检测失效、缺乏理论评估的问题，该研究形式化偏差定义与指标条件，分析现有指标局限，提出新指标SAME并数学验证其合理性。
2024-09-12 cs.CL
Evaluating the reliability of acoustic speech embeddings
ENS-PSL（巴黎高等师范学院-巴黎文理研究大学）；EHESS（法国高等社会科学研究院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
语音嵌入是可变长度语音序列的固定大小的声学表示。它们越来越多地用于各种任务，从信息检索到无监督术语发现和语音分割。然而，目前还没有明确的方法来以任务中立的方式比较或优化这些嵌入的质量。在这里，我们系统地比较了两个流行的指标，ABX歧视和平均精度（MAP），在5种语言的17种嵌入方法，从监督到完全无监督，并使用不同的损失函数（自动编码器，对应自动编码器，连体）。然后，我们使用ABX和MAP来预测一个新的下游任务的性能：在给定的语料库中的语音段的频率的无监督估计。我们发现，总体而言，ABX和MAP相互关联，并与频率估计。然而，在语言和/或嵌入方法之间的细粒度区分中出现了实质性的差异。这使得目前提出一种独立于任务的银弹方法来计算语音嵌入的内在质量是不现实的。有必要对目前用于评估这种嵌入的指标进行更详细的分析。
2020-11-06 cs.CL cs.LG cs.SD
Do We Really Need Specialization? Evaluating Generalist Text Embeddings for Zero-Shot Recommendation and Search
Politecnico Di Bari（巴里理工大学）；Sapienza University of Rome（罗马大学）；University of Klagenfurt（克拉根福大学）
本文证明通用文本嵌入模型无需专门微调即可在零样本推荐与搜索中超越传统及微调模型，并通过PCA压缩嵌入维度进一步提升性能。
2025-07-08 cs.CL cs.IR
Does My Embedding Reflect That $A = B$? Evaluating Mathematical Equivalence in Embedding Models
University of Washington（华盛顿大学）；Axiom Math；Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对当前嵌入模型无法识别数学等价陈述的问题，提出MELD数据集和对比学习方法，使嵌入能对齐不同形式化的数学表述。
2026-06-29 cs.CL cs.LG
Evaluating Sparse Interpretable Word Embeddings for Biomedical Domain
Isfahan University of Technology（伊斯法罕理工大学）；Isfahan University of Medical Sciences（伊斯法罕医科大学）
词嵌入已经在包括生物医学领域的自然语言处理任务中找到了它们的方式。虽然这些矢量表示成功地捕捉语义和句法词的关系，隐藏的模式和趋势的数据，他们无法提供可解释性。可解释性是论证的关键手段，而论证是生物医学应用中不可或缺的一部分。我们提出了一个包容性的研究在医学领域的词嵌入的可解释性，侧重于稀疏方法的作用。提供了词向量表示的可解释性的定性和定量测量和度量。对于定量评估，我们引入了一个广泛的分类数据集，可用于量化基于类别理论的可解释性。还提出了所研究的方法的内在和外在评价。至于后者，我们提出了数据集，可用于有效的外在评价的词向量在生物医学领域。基于我们的实验，可以看出，稀疏的词向量显示出更好的可解释性，同时保留了其原始向量在下游任务中的性能。
2020-05-11 cs.CL cs.LG
Sentence Smith: Controllable Edits for Evaluating Text Embeddings
University of Zurich（苏黎世大学）
Sentence Smith通过可控编辑生成文本，用于评估文本嵌入模型的细粒度性能。
2025-11-24 cs.CL
Does mBERT understand Romansh? Evaluating word embeddings using word alignment
Zurich Center of Linguistics（苏黎世语言学中心）；University of Zurich（苏黎世大学）
本文通过德语-罗曼什语词对齐任务评估 mBERT 在零样本场景下对未见语言罗曼什语的理解能力，并提出包含约 10 万句对的 DERMIT 三语语料库及词对齐黄金标准。
2023-08-17 cs.CL
BioConceptVec: creating and evaluating literature-based biomedical concept embeddings on a large scale
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国立卫生研究院国立医学图书馆国家生物技术信息中心）
捕获相关生物学概念的语义，如基因和突变，对于计算生物学中的许多研究任务，如蛋白质-蛋白质相互作用检测，基因-药物关联预测和基于生物医学文献的发现具有重要意义。在这里，我们建议利用最先进的文本挖掘工具和机器学习模型，通过向量表示（又名。嵌入）的超过400，000生物学概念中提到的整个PubMed摘要。我们学习的嵌入，即BioConceptVec，可以根据文献中的周围上下文信息捕获相关概念，这超出了精确的术语匹配或基于共现的方法。BioConceptVec已在多个生物信息学任务中进行了全面评估，这些任务包括来自9个不同生物数据集的2500多万个实例。评估结果表明，BioConceptVec在所有任务中具有比现有方法更好的性能。最后，BioConceptVec通过https://github.com/ncbi-nlp/BioConceptVec免费提供给研究社区和公众。
2019-12-23 cs.CL cs.IR cs.LG
Understanding Actors and Evaluating Personae with Gaussian Embeddings
Baidu Research（百度研究院）；Georgia Institute of Technology（佐治亚理工学院）；The City University of New York（纽约城市大学）
理解叙事内容已经成为一个越来越受欢迎的话题。尽管如此，研究确定共同类型的叙事人物，或人物，是阻碍了缺乏自动和广泛的评估方法。我们认为，计算建模演员提供的好处，包括新的评价机制的人物。具体来说，我们提出了两个演员建模任务，演员预测和多功能性排名，它可以捕捉演员和他们所描绘的角色之间的关系的互补方面。对于演员模型，我们提出了一种技术，用于嵌入演员，电影，角色，流派和描述性关键字作为高斯分布和平移向量，其中高斯方差对应于演员的多功能性。实证结果表明：（1）该技术的性能大大优于TransE（Bordes等人，2013年）和消融基线，（2）自动识别的人物角色主题（Bamman，O'Connor和Smith，2013年）在两项任务中均产生了统计学显著的改善，而包括年龄和性别在内的简单化人物角色描述符的性能不一致，验证了先前的研究。
2018-11-20 cs.CL cs.CY cs.MM
Evaluating Biomedical BERT Models for Vocabulary Alignment at Scale in the UMLS Metathesaurus
The Ohio State University（俄亥俄州立大学）；National Library of Medicine（美国国家医学图书馆）；AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）；George Washington University（乔治华盛顿大学）
目前的UMLS（统一医学语言系统）元词库建设过程中，集成超过200个生物医学源词汇是昂贵的，容易出错，因为它依赖于词汇算法和人类编辑来决定是否两个生物医学术语是同义的。自然语言处理的最新进展，例如Transformer模型（如BERT）及其具有上下文化词嵌入的生物医学变体，已经在下游任务上实现了最先进的（SOTA）性能。我们的目标是验证这些方法使用的BERT模型实际上可以优于现有的方法来预测同义词在UMLS元词库。在现有的具有LSTM和BioWordVec嵌入的Siamese网络中，我们使用不同的提取方式从每个BERT模型中提取的生物医学BERT嵌入替换BioWordVec嵌入。在Transformer架构中，我们评估了使用不同数据集和任务进行预训练的不同生物医学BERT模型的使用。考虑到这些BERT模型在其他下游任务中的SOTA性能，我们的实验产生了令人惊讶的有趣结果：（1）在两种模型架构中，采用这些基于生物医学BERT的模型的方法并不优于使用具有BioWordVec嵌入的Siamese网络用于UMLS同义词预测任务的现有方法，（2）未使用UMLS预训练的原始BioBERT大模型优于已使用UMLS预训练的SapBERT模型，和（3）当与使用生物医学BERT模型相比时，使用Siamese网络产生更好的同义词预测性能。
2021-10-15 cs.CL
CogniVal: A Framework for Cognitive Word Embedding Evaluation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
一种有趣的评估单词表征的方法是通过它们在多大程度上反映了人脑中的语义表征。然而，大多数，如果不是全部，以前的工作只集中在小数据集和一个单一的模态。在本文中，我们提出了第一个多模态的框架来评估英语词汇表征的认知词汇语义的基础上。通过将六种类型的词嵌入与15个在语言处理过程中记录的眼动跟踪、EEG和fMRI信号数据集拟合来评估它们。为了在所有评估假设中获得全局分数，我们应用统计显著性检验来解决多重比较问题。这个框架是很容易扩展的，并可用于包括其他内在和外在的评估方法。我们发现认知数据集之间的结果，跨记录方式和他们的外在NLP任务的表现有很强的相关性。
2019-10-29 cs.CL
Learning and Evaluating Contextual Embedding of Source Code
Indian Institute of Science（印度科学理工学院）；Google Brain（谷歌大脑）
最近的研究在理解和改进源代码方面取得了令人印象深刻的成果，这是通过建立在为自然语言开发的机器学习技术上来实现的。自然语言理解的一个重大进步是随着预先训练的上下文嵌入的发展，例如BERT，它可以针对具有较少标记数据和训练预算的下游任务进行微调，同时实现更好的准确性。然而，还没有尝试获得高质量的源代码的上下文嵌入，并同时在多个程序理解任务上对其进行评估;这就是本文旨在缩小的差距。具体来说，首先，我们从GitHub上整理了一个庞大的、经过重复数据删除的740万个Python文件的语料库，我们用它来预训练CuBERT，这是一个开源的代码理解BERT模型;其次，我们创建了一个开源的基准测试，其中包括五个分类任务和一个程序修复任务，类似于之前文献中提出的代码理解任务。我们在基准测试任务上对CuBERT进行了微调，并将生成的模型与Word 2 Vec令牌嵌入的不同变体、BiLSTM和Transformer模型以及已发布的最先进模型进行了比较，结果表明CuBERT的性能优于所有模型，即使训练时间较短，标记的示例也较少。未来关于源代码嵌入的工作可以从重用我们的基准测试中受益，并将CuBERT模型作为一个强大的基线进行比较。
2020-08-17 cs.CL cs.LG cs.PL
