Analyzing the Limitations of Cross-lingual Word Embedding Mappings
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
最近对跨语言词嵌入的研究几乎完全集中在离线方法上，这些方法独立地训练不同语言的词嵌入，并通过线性变换将它们映射到共享空间。虽然一些作者质疑基本的同构假设，即不同语言中的词嵌入具有大致相同的结构，但尚不清楚这是映射方法的固有限制还是学习跨语言嵌入时的更普遍问题。为了回答这个问题，我们用平行语料库进行了实验，这使我们能够将离线映射与联合学习两个嵌入空间的skip-gram扩展进行比较。我们观察到，在这些理想的条件下，联合学习收益率更多的同构嵌入，是不太敏感的枢纽，并获得更强的双语词典归纳的结果。因此，我们得出结论，目前的映射方法确实有很大的局限性，需要进一步的研究，以共同学习跨语言嵌入较弱的跨语言信号。
2019-06-12 cs.CL cs.LG
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation
LORIA（洛林计算机科学及其应用实验室）；Posos（Posos公司）
一些基于transformer的模型可以执行跨语言迁移学习：这些模型可以在一种语言的特定任务上进行训练，并在另一种语言的相同任务上给出相对较好的结果，尽管只在单语任务上进行了预训练。但是，对于这些基于transformer的模型是否能够跨语言学习通用模式，目前还没有达成共识。我们提出了一个词级的任务不可知的方法来评估这种模型建立的上下文表示的对齐。我们表明，我们的方法提供了更准确的翻译词对比以前的方法来评估字级对齐。我们的研究结果表明，基于多语言transformer的模型的一些内层优于其他显式对齐的表示，根据更严格的多语言对齐定义，甚至更是如此。
2022-07-19 cs.CL
Incorporate Semantic Structures into Machine Translation Evaluation via UCCA
Yuanpei College, Peking University（北京大学元培学院）；Key Laboratory of Computational Linguistics, School of EECS, Peking University（北京大学电子信息工程学院计算语言学重点实验室）
在神经释义网络和其他文本生成任务中，通常使用一种隐式机制，即在输出序列中保留输入序列中的一些重要单词。同样，在机器翻译中，我们注意到在一个源文本的所有好的翻译中出现了某些词或短语，并且这些词倾向于传达重要的语义信息。因此，本文将句子中具有重要语义意义的词定义为语义核心词。此外，我们提出了一个MT评估方法命名为语义加权句子相似度（SWSS）。它利用UCCA的功能来识别语义核心词，然后计算语义核心词重叠的句子相似度得分。实验结果表明，SWSS可以持续改善流行的机器翻译评价指标，这是基于词汇相似性的性能。
2020-10-22 cs.CL
Weakly-Supervised Concept-based Adversarial Learning for Cross-lingual Word Embeddings
University of Geneva（日内瓦大学）；Idiap Research Institute（Idiap研究所）
将每个单词映射到连续向量的单词的分布式表示已被证明不仅在单个语言中而且在不同语言中捕获重要的语言信息方面是有用的。目前的无监督对抗方法表明，可以构建一个映射矩阵，将两组单语词嵌入对齐在一起，而无需高质量的并行数据，如字典或词典对齐语料库。然而，如果没有后细化，这些方法的初步映射的性能并不好，导致在类型学上遥远的语言的性能差。在本文中，我们提出了一种弱监督对抗训练方法来克服这一限制，基于直觉，即跨语言映射在概念层面比在单词层面更好。我们提出了一种基于概念的对抗训练方法，对于大多数语言，它提高了以前无监督对抗方法的性能，特别是对于类型上遥远的语言对。
2019-04-20 cs.CL
Word2Vec vs DBnary: Augmenting METEOR using Vector Representations or Lexical Resources?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；SYSTRAN（SYSTRAN公司）；LNE（法国国家实验室）
本文提出了一种将词汇语义资源和词的分布式表示相结合的方法，应用于机器翻译（MT）的评价。这项研究是通过丰富的一个著名的MT评价指标：METEOR。此度量标准可实现自动翻译和参考翻译之间的近似匹配（同义或形态相似性）。我们的实验是在WMT 2014的可持续发展任务的框架下进行的。我们发现，分布式表示是一个很好的替代词汇语义资源的MT评估，他们甚至可以带来有趣的额外信息。使用矢量表示的METEOR增强版本可以在我们的Github页面上找到。
2016-10-05 cs.CL
Robust Cross-lingual Embeddings from Parallel Sentences
University of Waterloo（滑铁卢大学）；EPFL（洛桑联邦理工学院）
跨语言词嵌入的最新进展主要依赖于基于映射的方法，该方法通过线性变换将来自不同语言的预训练词嵌入投射到共享空间中。然而，这些方法假设词嵌入空间在不同语言之间是同构的，这已经被证明在实践中不成立（Søgaard等人，2018年），并从根本上限制了他们的表现。这促使研究联合学习方法，可以克服这一障碍，通过训练目标中的跨语言术语同时学习跨语言嵌入。我们提出了一个双语扩展的CBOW方法，利用双语对齐语料库，以获得强大的跨语言的单词和句子表示。我们的方法显着提高了跨语言的句子检索性能比所有其他方法，同时保持与当前国家的最先进的方法对单词翻译的奇偶校验。它还在zero-shot跨语言文档分类任务上实现了与深度RNN方法的对等，需要更少的计算资源进行训练和推理。作为一个额外的优势，我们的双语方法导致一个更显着的改善单语词向量的质量相比，其他竞争的方法。
2020-05-01 cs.CL cs.IR cs.LG
Bilingual Embeddings with Random Walks over Multilingual Wordnets
UPV/EHU（巴斯克地区大学）
双语词嵌入在同一空间中表示两种语言的单词，并且允许在没有机器翻译的情况下将知识从一种语言转移到另一种语言。主要方法是首先训练单语嵌入，然后使用双语词典映射它们。在这项工作中，我们提出了一种新的方法来学习双语嵌入基于多语言知识库（KB），如WordNet。我们的方法通过随机游走从多语言词网中提取双语信息，并一次性学习联合嵌入空间。我们在流行的skipgram模型的损失函数中添加双语约束，进一步加强跨语言等效性。我们的实验涉及12个跨语言词汇相似度和相关度数据集，包括4种语言的6个语言对，实验结果表明：1）多语言词网的随机游走比仅使用词典的搜索结果有所改善; 2）多语言词网本身在相似度数据集上比基于文本的系统有所改善; 3）对于大的字网，（如英文、西班牙文）、较小的字网（例如巴斯克语）或松散对齐的词网（例如意大利语）; 4）词网和文本的组合产生最佳结果，高于基于映射的方法。我们的方法可以应用于更丰富的知识库，如DBpedia或Babel-Net，并可以很容易地扩展到多语言嵌入。所有软件和资源都是开源的。
2018-04-23 cs.AI cs.CL
Good, Better, Best: Choosing Word Embedding Context
Oregon State University（俄勒冈州立大学）；IBM Watson（IBM沃森）；T. J. Watson Research Center（T.J.沃森研究中心）
我们提出了两种方法，学习向量表示的单词和短语，每个句子的上下文与结构特征提取的依赖树。使用几种变化的神经网络分类器，我们表明，这些组合的方法，导致性能提高时，作为输入功能的监督术语匹配。
2015-11-19 cs.CL
LNMap: Departures from Isomorphic Assumption in Bilingual Lexicon Induction Through Non-Linear Mapping in Latent Space
Nanyang Technological University（南洋理工大学）；Salesforce Research（Salesforce研究院）
大多数成功的和占主导地位的双语词典归纳（BLI）方法都是基于映射的，其中在假设不同语言的词嵌入空间表现出相似的几何结构（即，近似同构）。然而，最近的一些研究批评了这种简化的假设，表明即使对于密切相关的语言，它也不适用。在这项工作中，我们提出了一种新的半监督方法来学习跨语言的词嵌入的BLI。我们的模型独立于同构假设，并在两个独立训练的自动编码器的潜在空间中使用非线性映射。通过对来自两个不同数据集的15种不同语言对（双向）（包括资源丰富和资源不足的语言）进行广泛的实验，我们证明了我们的方法优于现有模型。消融研究显示了不同模型组件的重要性和非线性映射的必要性。
2020-10-22 cs.CL cs.LG
Tired of Topic Models? Clusters of Pretrained Word Embeddings Make for Fast and Good Topics too!
Johns Hopkins University（约翰斯·霍普金斯大学）；Department of Computer Science（计算机科学系）；Baltimore, MD, USA（美国马里兰州巴尔的摩）
主题模型是一种有用的分析工具，可以揭示文档集合中的潜在主题。主要的方法是使用概率主题模型来描述生成的故事，但在本文中，我们提出了一种替代方法来获得主题：聚类预训练的词嵌入，同时将文档信息用于加权聚类和重新排名。我们提供了基准的组合不同的词嵌入和聚类算法，并分析其性能下的降维PCA。我们的方法的最佳性能组合执行以及经典的主题模型，但具有较低的运行时间和计算复杂性。
2020-10-06 cs.CL
How to Generate a Good Word Embedding?
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
我们分析了词嵌入训练的三个关键组成部分：模型、语料库和训练参数。我们系统化现有的基于神经网络的词嵌入算法，并使用相同的语料库进行比较。我们以三种方式评估每个词嵌入：分析其语义属性，将其用作监督任务的特征，并将其用于初始化神经网络。我们还提供了几个简单的训练词嵌入的准则。首先，我们发现语料库领域比语料库规模更重要。我们建议选择一个合适的领域的语料库为所需的任务，之后，使用更大的语料库会产生更好的结果。其次，我们发现，在大多数情况下，更快的模型提供了足够的性能，如果训练语料库足够大，可以使用更复杂的模型。第三，迭代的早期停止度量应该依赖于所需任务的开发集，而不是训练嵌入的验证损失。
2015-07-20 cs.CL
Gibberish Semantics: How Good is Russian Twitter in Word Semantic Similarity Task?
SpazioDati S.r.l（SpazioDati 有限公司）
研究最多和最成功的语言模型主要是为英语和其他接近欧洲的语言，如法语，德语等开发和评估。重要的是要研究这些模型的适用性，以其他语言。最近研究了多个语料库（如Wikipedia，RuWac，lib.ru）中俄语向量空间模型的使用。这些模型进行了评价，对词的语义相似性任务。据我们所知，Twitter并没有被认为是这项任务的语料库，这项工作填补了这一空白。在Twitter语料库上训练的向量的结果与其他单语料库训练模型的准确性相当，尽管目前最好的性能是通过组合多个语料库来实现的。
2016-02-28 cs.CL
Word Embedding Transformation for Robust Unsupervised Bilingual Lexicon Induction
Harbin Institute of Technology（哈尔滨工业大学）
无监督双语词典归纳（UBLI）通过对齐在单语语料库上独立训练的源和目标词嵌入，取得了很大的进展。大多数UBLI模型的共同假设是两种语言的嵌入空间近似同构。因此，性能受到同构程度的约束，特别是在词源和类型学上遥远的语言上。为了解决这个问题，我们提出了一种基于变换的方法来增加同构。通过旋转和缩放使两种语言的嵌入相互匹配。该方法不需要任何形式的监督，可以应用于任何语言对。在双语词典归纳的基准数据集上，与最先进的方法相比，我们的方法可以实现具有竞争力或优越的性能，在遥远的语言上发现了特别强大的结果。
2021-05-26 cs.CL
What is word sense disambiguation good for?
词义消歧已经发展成为自然语言处理的一个子领域，就像解析一样，它是一个定义明确的任务，是广泛的语言理解应用的先决条件。首先，我回顾了早期的工作，表明一组意义的一个词是唯一的定义相对于一个特定的人类目的，并认为作为语言家具的一部分，词的意义缺乏理论基础。然后，我调查是否以及如何词义歧义实际上是一个问题，不同品种的自然语言处理应用。
1997-12-23 cmp-lg cs.CL
It Means More if It Sounds Good: Yet Another Hypothesis Concerning the Evolution of Polysemous Words
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Institute of Computational Technologies SB RAS（俄罗斯科学院西伯利亚分院计算技术研究所）
这份立场文件探讨了语言的形成，并显示了英语中单词的结构特性与其一词多义之间的联系。使用奥利维尔-利玛窦曲率在一个大的同义词图上估计多义词，它表明经验上的话，可以说是更容易发音也往往有多种含义。
2021-01-07 cs.CL math.MG
What Makes a Good Paraphrase: Do Automated Evaluations Work?
Ella Lab – Gesellschaft für künstliche Intelligenz mbH（Ella实验室——人工智能有限责任公司）
本研究探讨可接受复述的词语差异标准及自动化评估有效性，通过在德语数据集上结合自动化指标与专家语言学评估进行实验分析。
2023-07-27 cs.CL
Word Rotator's Distance
Tohoku University（东北大学）；RIKEN（理化学研究所）
文本相似性评估的一个关键原则是通过考虑词对齐来衡量两个文本之间的语义重叠程度。这种基于语义的方法是直观和可解释的，然而，它们在经验上不如通用句子向量之间的简单余弦相似性。为了解决这个问题，我们专注于并证明了这样一个事实，即词向量的范数是一个很好的代理字的重要性，和他们的角度是一个很好的代理字的相似性。基于对齐的方法不区分它们，而基于对齐向量的方法自动使用规范作为单词重要性。因此，我们提出了一种方法，该方法首先将词向量分解成它们的范数和方向，然后使用推土机的距离（即，最优传输成本），我们称之为单词旋转器距离。此外，我们发现如何增长的范数和方向的词向量（向量转换器），这是一个新的系统的方法，来自于搜索向量估计方法。在几个文本相似性数据集上，这些简单的方法的组合不仅优于基于验证的方法，而且还优于强基线。源代码可在www.example.com上获得
2020-11-16 cs.CL
No News is Good News: A Critique of the One Billion Word Benchmark
Cohere
10亿字基准是一个来自WMT 2011新闻抓取的数据集，通常用于衡量自然语言处理中的语言建模能力。我们训练模型只在按年划分的公共爬行网络上进行，并证明随着时间的推移，由于分布的变化，它们在这项任务上的表现会更差。对这一语料库的分析表明，它包含了几个有害文本的例子，以及对当前事件的过时引用。我们认为，新闻的时间性质及其随时间的分布偏移使其不适合测量语言建模能力，并讨论了潜在的影响和考虑因素的研究人员建立语言模型和评估数据集。
2021-10-25 cs.CL cs.LG
Isomorphic Cross-lingual Embeddings for Low-Resource Languages
Saarland University（萨尔大学）；École Polytechnique（巴黎综合理工学院）
跨语言词嵌入（CLWEs）是将从高资源环境中学习到的语言信息转移到低资源环境中的一个关键组成部分。最近的跨语言表示学习研究集中在离线映射方法，由于其简单性，计算效率，并能够与最小的并行资源。然而，它们主要依赖于嵌入空间近似同构的假设，即共享相似的几何结构，这在实践中并不成立，导致低资源和遥远语言对的性能较差。在本文中，我们介绍了一个框架来学习CLWEs，不假设等距，低资源对通过联合开发相关的高资源语言。在我们的工作中，我们首先使用离线方法预先对齐低资源和相关语言嵌入空间，以减轻等距假设。随后，我们使用联合训练方法来开发相关语言和目标嵌入空间的CLWE。最后，我们重新映射预对齐的低资源空间和目标空间，以生成最终的CLWE。我们表现出一致的收益超过目前的方法在质量和同构的程度，双语词典归纳（BLI）和特征值相似性分别衡量，在几个语言对：{尼泊尔语，芬兰语，罗马尼亚语，古吉拉特语，匈牙利语}-英语。最后，我们的分析还指出，相关性以及相关语言数据的数量是决定嵌入质量的关键因素。
2022-03-28 cs.CL
Unsupervised Learning of Word-Sequence Representations from Scratch via Convolutional Tensor Decomposition
无监督文本嵌入提取是机器学习中文本理解的关键。Word 2 Vec及其变体在将具有相似句法或语义含义的词映射到彼此接近的向量方面取得了实质性的成功。然而，提取上下文感知的词序列嵌入仍然是一个具有挑战性的任务。在大型语料库上训练是困难的，因为标签很难获得。更重要的是，对于预训练的模型来说，要获得对所有下游任务或任何新数据集都通用的单词序列嵌入是一个挑战。我们提出了一个两阶段的ConvDic+DeconvDec框架来解决这个问题，通过结合词序列字典学习模型和词序列嵌入解码模型。我们提出了一种卷积张量分解机制，在学习阶段学习好的单词序列短语词典。它被证明是更准确，更有效地比流行的交替最小化方法。在解码阶段，我们引入了一个反卷积框架，它不受句子长度变化的影响。我们使用ConvDic+DeconvDec提取的单词序列嵌入对于我们测试的一些下游任务来说普遍很好。该框架既不需要预训练也不需要先验/外部信息。
2018-05-28 cs.CL cs.LG
Segmental Audio Word2Vec: Representing Utterances as Sequences of Vectors with Applications in Spoken Term Detection
College of Electrical Engineering
虽然Word2Vec将单词（在文本中）表示为携带语义信息的向量，但音频Word2Vec被示出能够将口语单词的信号段表示为携带语音结构信息的向量。音频Word2Vec可以从未标记的语料库中以无监督的方式进行训练，除非需要单词边界。在本文中，我们扩展了音频Word2Vec从词级到话语级，提出了一个新的分段音频Word2Vec，其中无监督的口语词边界分割和音频Word2Vec共同学习和相互增强，所以话语可以直接表示为一系列携带语音结构信息的向量。这是通过分段序列到序列自动编码器（SSAE）实现的，其中在编码器中插入用强化学习训练的分段门。在英语、捷克语、法语和德语上的实验表明，在无监督的口语分词和口语词检测应用中表现出非常好的性能（明显优于基于帧的DTW）。
2018-08-07 cs.CL
Is Word Error Rate a good evaluation metric for Speech Recognition in Indic Languages?
提出了一种计算自动语音识别（ASR）中出错率的新方法。这个新的度量标准适用于包含半字符的语言，并且同一个字符可以用不同的形式书写。我们实现了我们的方法在印地语，这是从印度的主要语言之一，我们认为这种方法是可扩展到其他类似的语言包含一个大的字符集。我们称我们的度量为交替字出错率（AWER）和交替字符出错率（ACER）。我们使用wav2vec 2.0 \cite{baevski2020wav2vec}为印度语训练我们的ASR模型。此外，我们使用语言模型，以提高我们的模型性能。我们的研究结果表明，在分析的出错率在单词和字符的水平和ASR系统的可解释性提高到$3$在AWER和$7$在ACER印地语的%有显着的改善。我们的实验表明，在具有复杂发音的语言中，有多种方式可以在不改变其含义的情况下书写单词。在这种情况下，AWER和ACER将比WER和CER更有用。此外，我们开源了一个新的基准测试数据集21小时印地语与新的指标脚本。
2022-06-15 cs.CL eess.AS
Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Shandong University（山东大学）
在大规模、开放领域的会话系统中提出好的问题是相当重要的，但却没有触及。该任务与传统的问题生成任务有着本质的不同，它不仅要求提问的模式多样化，而且要求提问的主题多样化、相关性强。我们观察到一个好的问题是{\it疑问词}、{\it主题词}和{\it普通词}的自然组合。疑问词词汇化提问模式，话题词处理对话中话题转换的关键信息，普通词在构成自然句子中发挥句法和语法作用。我们设计了两种类型的解码器（\textit{soft typed decoder}和\textit{hard typed decoder}），其中估计了三种类型的类型分布，并用于调制最终生成分布。大量的实验表明，类型化解码器的性能优于最先进的基线，可以生成更有意义的问题。
2018-05-13 cs.CL
Updating Pre-trained Word Vectors and Text Classifiers using Monolingual Alignment
Facebook AI Research（Facebook人工智能研究院）
在本文中，我们专注于适应词向量为基础的模型，以新的文本数据的问题。给定一个在大型参考数据上预先训练的模型，我们如何使其适应语言分布略有不同的较小数据？我们将自适应问题视为单语词向量对齐问题，并在对齐后简单地对模型进行平均。我们使用RCSLS准则对齐向量。我们的配方结果在一个简单而有效的算法，允许适应通用模型不断变化的单词分布。在我们的评估中，我们考虑应用到词嵌入和文本分类模型。我们表明，所提出的方法在所有设置中都具有良好的性能，并且优于在新数据上微调模型的基线。
2019-10-15 cs.CL
Do speech foundation models really learn words?
University of Toronto（多伦多大学）
本文通过残差化方法剔除音素信息，证明HuBERT和wav2vec 2.0在深层确实学习到独立于词形的词汇表示，并能增强词汇发现任务中的高阶语言信息。
2026-09-10 cs.CL cs.SD
WordNet2Vec: Corpora Agnostic Word Vectorization Method
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
大数据资源的复杂性需要新的结构化方法，尤其是文本内容。WordNet是全面抽象自然语言的一个很好的知识源，因为它的良好实现存在于许多语言中。针对WordNet以复杂网络的形式嵌入自然语言的特点，提出了WordNet 2 Vec转换机制。它为WordNet中的每个单词创建向量。这些向量封装了自然语言中给定单词相对于所有其他单词的一般位置-角色。任何这样的向量的列表或集合都包含关于其组件在整个语言中的上下文的知识。这样的词表示可以很容易地应用于许多分析任务，如分类或聚类。WordNet 2 Vec方法的有用性在情感分析中得到了证明，即对真实的Amazon意见文本数据集使用迁移学习进行分类。
2016-06-10 cs.AI cs.CL cs.DC
Rehabilitation of Count-based Models for Word Vector Representations
Idiap Research Institute（Idiap研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
最近的作品中的词表示主要依赖于预测模型。分布式单词表示（又称词嵌入）被训练来最佳地预测相应单词倾向于出现的上下文。这些模型成功地捕捉到了词的相似性以及语义和句法的相似性。相反，我们的目标是恢复对基于计数的模型的兴趣。我们提出了一个系统的研究使用的Hellinger距离提取语义表示的词共现统计的大型文本语料库。我们发现，这个距离提供了良好的表现，词相似性和类比任务，适当的类型和大小的上下文，和降维的基础上随机低秩近似。除了简单和直观之外，该方法还提供了一个编码函数，可以用来推断未见过的单词或短语。与必须训练这些新词的预测模型相比，这成为一个明显的优势。
2015-04-08 cs.CL
Redefining Context Windows for Word Embedding Models: An Experimental Study
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）
分布式语义模型通过单词出现的上下文来学习单词的向量表示。虽然上下文的选择（通常采用滑动窗口的形式）对结果嵌入有直接影响，但该模型组件的确切作用仍然没有完全理解。本文提出了一个系统的分析上下文窗口的基础上的一组四个不同的超参数。我们训练连续Skip-Gram模型在两个英语语料库的各种组合，这些超参数，并评估他们的词汇相似性和类比任务。值得注意的实验结果是交叉上下文的积极影响和右上下文窗口令人惊讶的良好性能。
2017-04-19 cs.CL
How Good is BLI as an Alignment Measure: A Study in Word Embedding Paradigm
Dept. of Computer Science & Engineering, University of Moratuwa（计算机科学与工程系，穆塔瓦大学）
本研究以双语词典归纳（BLI）为对齐度量指标，对比多语言嵌入与对齐单语嵌入的表现，发现BLI的局限性并提出改进方法，探讨了两者在计算成本与性能间的折中可能。
2025-11-17 cs.CL
An Investigation of the Interactions Between Pre-Trained Word Embeddings, Character Models and POS Tags in Dependency Parsing
Uppsala University（乌普萨拉大学）
我们提供了一个全面的分析之间的相互作用的预训练的词嵌入，字符模型和POS标签在一个过渡为基础的依赖分析。虽然以前的研究表明，POS信息是不太重要的字符模型的存在下，我们表明，事实上有所有三种技术之间的复杂的相互作用。孤立地说，每一种方法都比只使用随机初始化的词嵌入的基线系统有很大的改进，但将它们快速组合起来会导致收益递减。我们分类的频率，POS标签和语言的单词，以系统地研究如何每一种技术影响分析质量。对于许多词类别，应用三种技术中的任何两种几乎与完整的组合系统一样好。字符模型往往是更重要的低频开放类词，特别是在形态丰富的语言，而POS标签可以帮助消除歧义的高频功能词。我们还表明，大字符嵌入大小的帮助，即使是小字符集的语言，特别是在形态丰富的语言。
2018-08-27 cs.CL
Improving Sentiment Analysis in Arabic Using Word Representation
Coventry University（考文垂大学）
阿拉伯语在词法、拼写和方言方面的复杂性使得阿拉伯语的情感分析更具挑战性。此外，为了衡量情绪，从tweet等短消息中提取文本特征提取，使这项任务更加困难。近年来，深度神经网络经常被采用，并在情感分类和自然语言处理应用中表现出非常好的效果。词嵌入或词分布方法是一种从上下文文本中捕获最接近的词的有效工具。在本文中，我们描述了我们如何构建Word 2 Vec模型从一个大型的阿拉伯语语料库，从十份报纸在不同的阿拉伯国家。通过应用不同的机器学习算法和具有不同文本特征选择的卷积神经网络，我们报告了我们公开可用的阿拉伯语健康情感数据集上情感分类的准确性提高（91%-95%）[1]
2018-03-30 cs.CL
Extending and Improving Wordnet via Unsupervised Word Embeddings
Princeton University（普林斯顿大学）
这项工作提出了一种无监督的方法来改善WordNet，建立在最近的进展，通过分布式语义的文档和意义表示。我们应用我们的方法来构建法语和俄语的Wordnets，这两种语言都缺乏良好的手动构造。1这些在两个新的600字测试集上进行了评估，用于单词到同义词集的匹配，并发现在同义词集的召回率上有很大的提高，在F分数上优于最好的自动化Wordnets。我们的方法需要很少的语言资源，因此适用于低资源语言的Wordnet建设，并可能进一步应用于意义聚类和其他Wordnet的改进。
2017-04-29 cs.CL cs.IR
Will Affective Computing Emerge from Foundation Models and General AI? A First Evaluation on ChatGPT
University of Augsburg（奥格斯堡大学）；SyncPilot GmbH（SyncPilot有限公司）；Nanyang Technological University（南洋理工大学）；Imperial College London（帝国理工学院）
ChatGPT显示了新兴通用人工智能功能的潜力，因为它在许多自然语言处理任务中表现出了出色的性能。在这项工作中，我们评估的能力ChatGPT进行文本分类的三个情感计算问题，即，大五人格预测，情感分析，自杀倾向检测。我们使用三个基线，一个强大的语言模型（Roberta-base），一个带有预训练嵌入的传统单词模型（Word 2 Vec）和一个简单的词袋基线（BoW）。结果表明，针对特定下游任务训练的RoBERTa通常具有优越的性能。另一方面，ChatGPT提供了不错的结果，并且与Word 2 Vec和BoW基线相对相当。ChatGPT进一步显示了对噪声数据的鲁棒性，其中Word 2 Vec模型由于噪声而获得更差的结果。结果表明，ChatGPT是一个很好的通才模型，能够在没有任何专门培训的情况下在各种问题上取得良好的结果，但是，它不如下游任务的专门模型。
2023-03-03 cs.AI cs.CL
Generalizing Word Embeddings using Bag of Subwords
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们解决的问题，概括预先训练的词嵌入超出固定大小的词汇表，而不使用额外的上下文信息。我们提出了一个子词级的词向量生成模型，将单词视为字符$n$ -gram的袋子。该模型简单，训练速度快，并为罕见或未见过的单词提供了良好的向量。实验结果表明，该模型在英语单词相似度测试以及23种语言的词性标记和形态句法属性的联合预测中均取得了较好的效果，表明该模型具有较强的捕捉单词文本表征与嵌入关系的能力。
2018-09-12 cs.CL cs.LG
Word Emdeddings through Hellinger PCA
Idiap Research Institute（Idiap研究所）
由神经语言模型产生的词嵌入已经被证明对于各种各样的NLP任务是成功的。然而，这样的架构可能难以训练并且耗时。相反，我们建议大大简化词嵌入计算，通过一个Hellinger PCA的词共现矩阵。我们将这些新的词嵌入与一些知名的嵌入NER和电影评论任务进行比较，并表明我们可以达到类似甚至更好的性能。虽然深度学习对于生成良好的词嵌入并不是真正必要的，但我们证明了它可以提供一种简单的方法来使嵌入适应特定的任务。
2017-01-04 cs.CL cs.LG
BRUMS at SemEval-2020 Task 3: Contextualised Embeddings for Predicting the (Graded) Effect of Context in Word Similarity
Birmingham City University（伯明翰城市大学）；University of Wolverhampton（伍尔弗汉普顿大学）
本文介绍了团队BRUMS提交SemEval-2020任务3：上下文中的分级单词相似性。该系统采用了最先进的上下文化词嵌入，它有一些特定于任务的适应，包括堆叠嵌入和平均嵌入。总体而言，该方法在所有语言中都获得了良好的评价分数，同时保持了简单性。在最终排名之后，我们的方法在每种语言的前5名解决方案中排名第一，同时保留了芬兰语子任务2的第一名。
2021-05-20 cs.AI cs.CL
Indexing with WordNet synsets can improve Text Retrieval
如果选择WordNet同义词集而不是单词形式作为索引空间，则用于文本检索的经典向量空间模型可以提供更好的结果（在我们的实验中提高高达29%）。这个结果是从Semcor语义一致性中获得的手动消歧测试集合（查询和文档）。检索性能的敏感性（自动）消歧错误时，索引文件也进行了测量。最后，它被观察到，如果查询不消除歧义，索引的同义词集执行（最好的）只有一样好的标准字索引。
1998-08-05 cmp-lg cs.CL
Language models in word sense disambiguation for Polish
Polish Academy of Sciences（波兰科学院）
在本文中，我们测试了两种不同的方法来{无监督}波兰语词义消歧任务。在这两种方法中，我们使用神经语言模型来预测与被消歧的词相似的词，并且在这些词的基础上，我们以不同的方式预测词义的划分。在第一种方法中，我们聚类选择相似的单词，而在第二种方法中，我们聚类向量代表他们的子集。该评估是在用plWordNet词义注释的文本上进行的，并提供了相对较好的结果（所有歧义词的F1=0.68）。结果显着优于\cite{waw:myk:17:Sense}中提出的基于神经模型的无监督方法，并在那里提出的监督方法的水平。该方法可以解决缺乏语义标注数据的语言的词义消歧问题。
2021-11-27 cs.AI cs.CL
High-risk learning: acquiring new word vectors from tiny data
Universitat Pompeu Fabra（庞培法布拉大学）；University of Trento（特伦托大学）
众所周知，分布式语义模型在处理小数据时会遇到困难。人们普遍认为，为了学习单词的“好向量”，模型必须有足够的用法示例。这与人类只能从少数几次出现中猜测单词含义的事实相矛盾。在本文中，我们表明，神经语言模型，如Word 2 Vec只需要轻微的修改其标准架构，学习新的条款，从微小的数据，使用背景知识从以前学习的语义空间。我们测试了我们的模型在单词定义和一个nonce任务，涉及2-6句话的上下文价值，表现出很大的提高，在国家的最先进的模型的定义任务。
2017-07-20 cs.CL cs.LG
Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding
Williams College（威廉姆斯学院）
词嵌入是一种功能强大的自然语言处理技术，但它们非常难以解释。为了实现可解释的NLP模型，我们创建了每个维度都是可解释的向量。通过内在可解释性，我们指的是一个系统，其中每个维度都与一些人类可理解的提示相关联，这些提示可以描述该维度的含义。为了创建更多可解释的词嵌入，我们将预训练的密集词嵌入转换为稀疏嵌入。这些新的嵌入本质上是可解释的：它们的每个维度都是从一个自然语言单词或特定的语法概念创建的，并表示该单词或语法概念。我们通过稀疏编码构造这些嵌入，其中基集中的每个向量本身就是一个词嵌入。因此，我们的稀疏向量的每个维度对应于一个自然语言单词。我们还表明，使用这些稀疏嵌入训练的模型可以实现良好的性能，并且在实践中更具可解释性，包括通过人工评估。
2021-09-27 cs.CL cs.LG stat.ML
This Is a Good Paper, Right? How Tag Questions Affect Sycophancy Across 106 Language Models
Cornell Tech（康奈尔科技）
研究在语言模型决策问题中附加标签的效应，通过特定实验设置在45个模型上测量，发现效应范围广且随代际反转，定位了抗性来源，表明标签极性更关键，工具能从模型行为读出反谄媚训练情况。
2026-10-14 cs.AI cs.CL
Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors
Babylon Health（巴比伦健康）
最近的文献表明，在语义文本相似性任务中，平均词向量加上简单的后处理优于许多深度学习方法。此外，当平均词向量在大型释义语料库上进行监督训练时，它们在标准STS基准测试中获得了最先进的结果。受这些见解的启发，我们进一步推动了词嵌入的极限。我们提出了一种新的模糊词袋（FBoW）表示的文本，同时包含所有的词汇，但具有不同程度的成员资格，这是来自词向量之间的相似性。我们发现，最大池词向量是模糊BoW的一个特例，应该通过模糊Jaccard指数，而不是余弦相似性进行比较。最后，我们提出了DynaMax，一个完全无监督和非参数的相似性度量，动态提取和最大池良好的功能，这取决于句子对。这种方法既高效又易于实现，但在STS任务上的表现远远优于当前的基线，甚至可以与经过训练以直接优化余弦相似度的监督词向量竞争。
2019-04-30 cs.CL cs.LG
Distributed Representations of Words and Phrases and their Compositionality
Google Inc.（谷歌公司）
最近引入的连续Skip-gram模型是一种有效的方法，用于学习高质量的分布式向量表示，捕获大量精确的语法和语义词的关系。在本文中，我们提出了几个扩展，提高了向量的质量和训练速度。通过对频繁单词进行子采样，我们获得了显着的加速，并且还学习了更多的规则单词表示。我们还描述了一个简单的替代分层softmax称为负采样。词表示的一个固有局限性是它们对词序的漠不关心，以及它们不能表示惯用短语。例如，“Canada”和“Air”的含义不能轻易组合成“Air Canada”。受这个例子的启发，我们提出了一种在文本中查找短语的简单方法，并表明学习数百万短语的良好矢量表示是可能的。
2013-10-16 cs.CL cs.LG stat.ML
Angular-Based Word Meta-Embedding Learning
University of Liverpool（利物浦大学）
近年来，将词嵌入集成以改进分布式词表示在自然语言处理任务中已经显示出良好的成功。这些方法要么对一组向量进行直接的数学运算，要么使用无监督学习来找到一个低维的表示。这项工作比较了针对不同损失训练的元嵌入，即考虑重建嵌入和目标之间的角距离的损失函数和考虑基于向量长度的归一化距离的损失函数。我们认为，元嵌入更好地在无监督学习中平等地对待系综集，因为在元嵌入之前，上游任务的每个嵌入的各自质量是未知的。我们发现，考虑到这一点的归一化方法，如余弦和KL发散目标，在\textit{defacto}单词相似性和相关性数据集上，优于在标准$\ell_1$和$\ell_2$损失上训练的元嵌入，并发现它优于现有的元学习策略。
2018-08-13 cs.CL cs.LG stat.ML
Neural Cross-Lingual Relation Extraction Based on Bilingual Word Embedding Mapping
IBM Research AI（IBM研究院人工智能部门）
关系抽取（RelationExtraction，RE）试图检测和分类实体之间的语义关系，这为许多自然语言处理应用提供了有用的信息。由于国家的最先进的RE模型需要大量的手动注释的数据和语言特定的资源，以达到高精度，这是非常具有挑战性的资源丰富的语言的RE模型，以资源贫乏的语言。本文提出了一种基于双语词嵌入映射的RE模型跨语言迁移方法。它将词嵌入从目标语言投影到源语言，使得经过良好训练的源语言神经网络RE模型可以直接应用于目标语言。实验结果表明，该方法在只有1K词对的小型双语词典上，对大量的目标语言，在内部数据集和开放数据集上都取得了很好的性能。
2019-10-31 cs.CL cs.IR cs.LG
