Massively Multilingual Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
我们介绍了新的方法来估计和评估嵌入的话在五十多种语言在一个单一的共享嵌入空间。我们的估计方法，multiCluster和multiCCA，使用字典和单语数据;它们不需要并行数据。我们的新的评估方法，multiQVEC-CCA，相关性比以前的两个下游任务（文本分类和解析）。我们还描述了一个门户网站的评估，这将有助于在这一领域的进一步研究，随着我们所有的方法的开源版本。
2016-05-21 cs.CL
Estimating Mixture Distributions via Stochastic Mirror Descent
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of California San Diego（加州大学圣地亚哥分校）
针对从样本中估计未知分布的问题，提出基于随机镜像下降（SMD）的混合模型估计器族，通过选择Bregman散度实现灵活估计，在大规模候选分量下保持高效，并在KL散度和ℓ2范数下达到近最优收敛率。
2026-05-24 cs.IT cs.LG math.IT
Estimating Text Similarity based on Semantic Concept Embeddings
Lucerne University of Applied Sciences and Arts (HSLU)（卢塞恩应用科学与艺术大学）
针对Word2V词嵌入在表层表示和歧义词处理上的不足，提出基于MultiNet语义网络的语义概念嵌入(CE)，结合传统词嵌入显著提升了营销目标群体预测准确率。
2024-01-09 cs.AI cs.CL
A Method for Estimating the Proximity of Vector Representation Groups in Multidimensional Space. On the Example of the Paraphrase Task
Cognitive Systems Company（认知系统公司）
下面介绍一种比较两组向量的方法。该方法可以应用于所有的任务，其中有必要测量两个对象的接近度作为向量集。当我们把两个句子的意思作为释义问题的一部分进行比较时，它可能适用。这是衡量两个句子（一组单词）的语义相似性的问题。现有的方法对句子中的语序或句法连接不敏感。该方法看起来是有利的，因为它既不将一组单词呈现为一个标量值，也不试图通过聚合向量来显示接近度，聚合向量对于向量集是平均的。相反，我们测量角度的余弦作为第一组向量投影（上下文）在一侧和第二组向量在另一侧的平均值。用这些方法确定的两个句子的相似度既不损失任何语义特征，又考虑了词语的特点。该方法在俄语句子对的比较中得到了验证。
2019-08-29 cs.CL cs.LG stat.ML
Estimating related words computationally using language model from the Mahabharata -- an Indian epic
本文提出一个自然语言处理流水线，从印度史诗《摩诃婆罗多》中获取统计与计算见解，并实现最相关词的搜索方法。
2023-05-09 cs.CL
Distributed representation of multi-sense words: A loss-driven approach
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
Word2Vec的Skip Gram模型是目前最先进的估计单词分布式表示的方法。但是，它假设每个单词有一个向量，这不太适合表示具有多个含义的单词。这项工作提出了Lebron，一个新的模型，用于估计单词的分布表示。Lebanon依赖于这样一种想法，即如果一个词带有多个含义，那么对每个含义使用不同的表示应该会导致与预测其共现词相关的较低损失，而不是使用单个向量表示所有含义的情况。在识别出多义词之后，Lebron对这些词的出现进行聚类，为每个出现分配一个意义。在上下文单词相似性任务上的实验表明，与竞争的方法相比，Lebron导致更好的性能。
2019-04-14 cs.AI cs.CL
Estimating the Rating of Reviewers Based on the Text
Southern Illinois University, Carbondale, USA（南伊利诺伊大学卡本代尔分校，美国（注：此处“USA”为国家，按要求机构粒度提取到大学级别，故保留大学名称主体））
用户生成的文本，如评论和社交媒体是有价值的信息来源。在线评论是用户购买产品、观看电影或做出决定的重要资产。因此，评论的评分是所有用户阅读和信任评论的可靠因素之一。本文通过对评论文本的分析来评估和预测评论的收视率。此外，我们还研究了从文本中产生的词汇特征以及情感词对评分预测准确性的影响。我们的分析表明，具有高信息增益分数的单词比具有高TF-IDF值的单词更有效。此外，我们还探索了预测评论评级的最佳特征数量。
2018-05-22 cs.CL
Word Clustering and Disambiguation Based on Co-occurrence Data
我们解决的问题，聚类词（或构建词库）的基础上共现数据，并使用所获得的词类，以提高句法消歧的准确性。我们认为这个问题的估计联合概率分布指定的联合概率的词对，如名词动词对。我们提出了一个有效的算法的基础上的最小描述长度（MDL）的原则，估计这样的概率分布。我们的方法是一个自然的扩展（布朗等人92）和（李和安倍96），并克服了他们的缺点，同时保留他们的优点。然后，我们结合这种聚类方法与消歧方法（李和安倍95），得到一个消歧方法，利用自动构建的词库和手工制作的词库。通过我们的方法实现的整体消歧准确率为85.2%，这与通过最先进的消歧方法（Brill & Resnik 94）获得的准确率（82.4%）相比是有利的。
1998-07-17 cmp-lg cs.CL
Estimating Lexical Complexity from Document-Level Distributions
University of Oslo（奥斯陆大学）；Helse Fonna（赫尔塞福纳（挪威医疗机构））
本文提出一种无需预标注数据的两步法，利用文档级分布估计词汇复杂度，并在挪威语健康评估工具上验证了其有效性及与词长、频率、音节数等特征的关系。
2024-04-01 cs.CL
Guilt by Association: Emotion Intensities in Lexical Representations
Rutgers University（罗格斯大学）；Hasso Plattner Institute/University of Potsdam（哈索·普拉特纳研究所/波茨坦大学）
词向量表征揭示了与词相关的情感的什么？在这项研究中，我们考虑的任务是估计特定情绪的词级情感强度分数，探索无监督，监督，最后是一个自我监督的方法，从词向量表示提取情感关联。总的来说，我们发现，词向量进行诱导细粒度的情感强度分数的巨大潜力，表现出更高的相关性与人类的地面真相评级比达到最先进的情感词汇。
2021-04-18 cs.CL
Estimating the Causal Effects of Natural Logic Features in Neural NLI Models
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本文通过因果效应估计方法，在NLI任务中系统分析上下文干预和词对干预对模型蕴含判断的影响，构建模型在鲁棒性与敏感性方面的比较画像。
2023-05-15 cs.CL
Embedding Learning Through Multilingual Concept Induction
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们提出了一种新的方法来估计词的向量空间表示：嵌入学习的概念归纳。我们在高度并行的语料库上测试了这种方法，并在单个公共空间中学习了1259种不同语言的单词的语义表示。一个广泛的实验评估跨语言词相似度和情感分析表明，基于概念的多语言嵌入学习比以前的方法表现更好。
2018-06-27 cs.CL
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
词嵌入是文本文档中单个词在向量空间中的表示，它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA（Supervised Word Embeddings for情感分析）。SWESA利用文档标签信息，通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题，从适度的文本文档语料库中学习词的向量表示。分析表明，SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明，SWESA具有优越的性能相比，以前建议的方法，词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
SimDoc: Topic Sequence Alignment based Document Similarity Framework
University of Bonn（波恩大学）；Emory University（埃默里大学）；Rygbee Inc.（Rygbee公司）
文档相似性是估计给定文档对具有相似语义内容的程度的问题。一个准确的文档相似性度量可以改善一些企业相关的任务，如文档聚类，文本挖掘和问答。在本文中，我们表明，文档的主题流（通常被词袋技术忽视）在估计其相似性方面至关重要。为此，我们提出了一种新的语义文档相似性框架，称为SimDoc。我们的模型文件的主题序列，主题代表潜在的生成集群的相关词。然后，我们使用序列比对算法来估计它们的语义相似度。我们进一步概念化一种新的机制来计算主题主题相似度，以微调我们的系统。在我们的实验中，我们表明，SimDoc优于许多当代的词袋技术，准确计算文档相似性，并在实际应用中，如文档聚类。
2017-11-11 cs.CL
Multidirectional Associative Optimization of Function-Specific Word Representations
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；Technion, IIT（以色列理工学院）；PolyAI Limited（PolyAI有限公司）
我们提出了一个神经框架，用于学习相关的单词组之间的关联，如发现在主谓宾（SVO）结构。我们的模型诱导了一个联合功能特定的词向量空间，例如，合理的SVO组合物的向量躺在一起。该模型即使在联合空间中也保留了关于词组成员的信息，从而可以有效地应用于SVO结构上的一些推理任务。我们显示的鲁棒性和多功能性的建议框架报告国家的最先进的结果估计选择偏好和事件相似性的任务。结果表明，使用我们的任务无关模型学习的表示组合优于先前工作中的任务特定架构，同时将参数数量减少了95%。
2020-05-11 cs.CL
Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
向量空间词嵌入及其在自然语言处理中的应用越来越受到人们的关注，特别是最近提出的在非常大的规模上进行快速估计的方法。然而，几乎所有这些工作都假设每个单词类型只有一个向量，忽略了多义词，从而危及它们对下游任务的有用性。我们对Skip-gram模型进行了扩展，可以有效地学习每个单词类型的多个嵌入。它与最近的相关工作不同，联合执行词义判别和嵌入学习，通过非参数化估计每个单词类型的含义数量，以及其效率和可扩展性。我们在上下文任务中提出了最新的单词相似性结果，并通过在不到6小时的时间内在近10亿个令牌的语料库上使用一台机器进行训练来展示其可扩展性。
2015-04-24 cs.CL stat.ML
Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models
University of Manchester（曼彻斯特大学）；National Biomarker Centre, CRUK-MI, University of Manchester（曼彻斯特大学国家生物标志物中心，英国癌症研究中心曼彻斯特研究所）；Idiap Research Institute（Idiap 研究所）
本文针对基于 Transformer 的 NLI 模型，利用因果效应估计和干预实验分析自然逻辑特征，揭示相近基准准确率背后的行为差异及单调性、否定相关偏差。
2024-04-03 cs.CL
Alleviating Overfitting for Polysemous Words for Word Representation Estimation Using Lexicons
Keio University（庆应义塾大学）
虽然有一些工作，提高分布式词表示使用词典，有多个含义的词的不适当的过拟合是一个遗留的问题恶化的学习时，使用词典，这需要解决。另一种方法是按意义分配向量，而不是按单词分配向量。然而，用前一种方法估计的词表示不如后一种方法容易使用。我们以前的工作使用概率的方法来减轻过拟合，但它是不健壮的小语料库。在本文中，我们提出了一个新的神经网络估计分布式单词表示使用的词典和语料库。我们在连续词袋模型中增加了一个词汇层，并在词汇层的输出后增加了一个阈值节点。该阈值拒绝词典层的不可靠输出，这些输出不太可能与它们的输入相同。这样，就消除了多义词的过度拟合现象。提出的神经网络可以使用负采样来训练，该负采样通过将目标词与随机噪声区分开来最大化给定上下文词的目标词的对数概率。我们比较了所提出的神经网络与连续的词袋模型，其他作品改进它，和以前的作品估计分布式单词表示使用词典和语料库。实验结果表明，该神经网络对语义任务和句法任务都有较好的效率和均衡性，并且对语料库规模具有较强的鲁棒性。
2017-03-09 cs.CL
Efficient Trie-based Biasing using K-step Prediction for Rare Word Recognition
College of Computing and Data Science（计算与数据科学学院）；College of Computing（计算学院）
提出基于K步预测的Trie偏置改进方法，通过前瞻多步预测避免奖励撤销，仅用10小时数据微调Whisper，将罕见词识别词错误率从30.86%降至12.19%。
2025-09-11 cs.AI cs.CL
Two Questions about Data-Oriented Parsing
在本文中，我目前正在进行的工作，面向数据的解析（DOP）模型。在以前的工作中，DOP进行了测试，从宾夕法尼亚州树库的一组清理的分析部分的语音字符串，取得了良好的测试结果。然而，这留下了两个重要的问题没有回答：（1）如果在未经编辑的数据上测试，DOP如何执行，以及（2）DOP如何用于解析包含未知单词的单词串？本文探讨了这些问题。我们表明，未编辑的数据上的解析结果比清理后的数据更差，虽然与其他模型相比非常有竞争力。至于单词串的解析，我们表明，这个问题的难度并不取决于未知的单词，但在以前看不见的词汇类别的已知单词。我们给出了一种新的方法来分析这些话，通过估计未知子树的概率。该方法是普遍感兴趣的，因为它表明，可以获得良好的性能，而不使用一部分的语音标记。据我们所知，我们的方法优于其他统计分析器测试Penn Treebank字串。
1996-06-17 cmp-lg cs.CL
Inferring Prototypes for Multi-Label Few-Shot Image Classification with Word Vector Guided Attention
Peking University（北京大学）；SenseTime Research（商汤科技研究院）；CRIL - University of Artois & CNRS（法国国立计算机与自动化研究所 - 阿图瓦大学与法国国家科学研究中心）；University of Essex（埃塞克斯大学）；Cardiff University（卡迪夫大学）
多标签Few-Shot图像分类（ML-FSIC）是基于少量训练样本为先前未见过的图像分配描述性标签的任务。多标签设置的一个关键特性是图像通常具有多个标签，这些标签通常指的是图像的不同区域。因此，在基于度量的设置中，当估计原型时，确定哪些区域与哪些标签相关是重要的，但是有限的训练数据量使得这非常具有挑战性。作为一种解决方案，在本文中，我们建议使用词嵌入作为一种形式的先验知识的意义的标签。特别是，视觉原型的支持图像的局部特征图的聚合，使用依赖于标签嵌入的注意力机制。作为一个重要的优势，我们的模型可以推断出未知标签的原型，而不需要微调任何模型参数，这证明了它强大的泛化能力。COCO和PASCAL VOC上的实验进一步表明，我们的模型大大提高了目前的最先进的。
2021-12-07 cs.CL cs.CV
Document Similarity from Vector Space Densities
Harvard University（哈佛大学）
我们提出了一个计算轻的方法来估计文本文档之间的相似性，我们称之为密度相似性（DS）的方法。该方法基于高维欧氏空间中的词嵌入和核回归，并考虑到词之间的语义关系。我们发现，这种方法的精度几乎是相同的一个国家的最先进的方法，而在速度上的增益是非常可观的。此外，我们引入广义版本的前k精度度量和Jaccard度量相似性模型之间的协议。
2020-09-01 cs.CL cs.DS
Monolingually Derived Phrase Scores for Phrase Based SMT Using Neural Networks Vector Representations
Amirkabir University（阿米尔卡比尔理工大学）
在本文中，我们提出了两个新的特点，估计基于短语的机器翻译参数，主要是单语数据。我们的方法是基于两个最近推出的神经网络向量表示模型的单词和句子。这是第一次，这些模型已被用于端到端的短语为基础的机器翻译系统。从我们的方法获得的分数可以恢复超过80%的BLEU损失所造成的删除短语表概率。我们还表明，我们的功能与短语表概率相结合，提高了绝对0.74分的BLEU分数。
2016-05-24 cs.CL
Evolution of the lexicon: a probabilistic point of view
本文从概率论视角分析Swadesh方法在估计语言分化时间上的固有精度极限，并指出词汇渐进修改这一随机过程同样重要，纳入后可显著提升时间间隔估计的准确性。
2025-10-25 cs.CL q-bio.PE
The Confounder Trap: Treatment-Encoding Representations in Causal Inference with Text
Duke University（杜克大学）
本文针对文本因果推断中因处理状态由文本编码引发的混淆陷阱，提出掩码调整表征方法，经模拟验证可改善重叠诊断、稳定因果效应估计并降低偏差。
2026-07-30 cs.CL stat.AP stat.ME
Distilling Semantic Concept Embeddings from Contrastively Fine-Tuned Language Models
University of Shanghai for Science and Technology（上海理工大学）；CRIL CNRS（法国国家科学研究中心CRIL）；University of Artois（阿尔图瓦大学）；Cardiff University（卡迪夫大学）
提出两种对比学习策略从预训练语言模型中提取语义概念嵌入，通过无监督邻域结构和ConceptNet远程监督优化上下文向量，显著提升了概念语义属性预测及聚类等下游任务性能。
2023-05-16 cs.AI cs.CL
