Bio-inspired Structure Identification in Language Embeddings
University of California, Santa Cruz（加州大学圣克鲁兹分校）
词嵌入是当代语言建模中提高下游性能的一种流行方法。然而，嵌入空间的底层几何结构并没有很好地理解。我们提出了一系列的探索，使用生物启发的方法来遍历和可视化的词嵌入，展示可辨别的结构的证据。此外，我们的模型还产生单词相似性排名，这是合理的，但与常见的相似性度量，主要是余弦相似性和欧几里得距离非常不同。我们表明，我们的生物启发模型可用于研究不同的词嵌入技术如何导致不同的语义输出，这可以强调或模糊文本数据中的特定解释。
2020-09-15 cs.CL cs.HC
BURT: BERT-inspired Universal Representation from Twin Structure
Shanghai Jiao Tong University（上海交通大学）
预先训练的上下文化语言模型，如BERT，在广泛的下游自然语言处理（NLP）任务中表现出极大的有效性。然而，由模型提供的有效表示针对序列内的每个令牌而不是每个序列，并且微调步骤涉及同时输入两个序列，导致具有不同粒度的各种序列的不令人满意的表示。特别是，由于在这些模型中，作为完整的训练上下文的语义级表示，在较低级别的语言单元（短语和单词）上的性能较差。在这项工作中，我们提出了BURT（BERT inspired Universal Representation from Twin Structure），它能够为任何粒度的输入序列生成通用的，固定大小的表示，即，单词、短语和句子，使用具有多个训练目标的大规模自然语言推理和释义数据。我们提出的BURT采用Siamese网络，分别从自然语言推理数据集和释义数据集学习句子级表示和单词/短语级表示。我们在不同粒度的文本相似性任务中评估了BURT，包括STS任务，SemEval 2013任务5（a）和一些常用的单词相似性任务，其中BURT在文本级数据集上的表现大大优于其他表示模型，并在单词/短语级表示方面取得了显着改进。
2020-08-03 cs.CL
Competition in Cross-situational Word Learning: A Computational Study
DeepMind（深度思维）；University of Toronto（多伦多大学）；Princeton University（普林斯顿大学）
孩子们通过挖掘不同情况下使用单词的共性来学习单词的含义，并克服早期单词学习经历中的高度不确定性。我们提出了一个建模框架，以调查的作用，相互排斥的偏见-断言一对一的映射词和它们的含义-在减少不确定性的单词学习。在一组计算研究中，我们表明，要成功地学习词义的不确定性面前，学习者需要使用两种类型的竞争：字竞争的关联到一个指涉学习时，从观察和指涉竞争一个字时，使用这个词。我们的工作突出了算法级分析的重要性，以阐明可以实现相同计算级理论的不同机制的效用。
2021-07-27 cs.CL cs.LG
SLAM-Inspired Simultaneous Contextualization and Interpreting for Incremental Conversation Sentences
Keio University（庆应义塾大学）
词的分布式表示提高了许多自然语言任务的性能。然而，在许多方法中，一个词的一个标签只考虑一个含义，并且取决于上下文的多义词的多个含义很少被处理。虽然研究工作涉及多义词，但都是根据一批大的文献来确定多义词的意义。因此，将这些方法应用于连续的句子有两个问题，例如在包含歧义表达的对话中。第一个问题是这些方法不能顺序地处理语境和词义之间的相互依赖关系，即语境决定词义，词义决定语境。因此，语境估计必须并行进行，以寻求多种解释。第二个问题是，以前的方法使用大规模的句子集来离线学习新的解释，学习和推理的步骤被明确分离。这种使用离线学习的方法在对话期间无法获得新的解释。因此，为了动态估计会话语境和连续句子中多义词的解释，本文在传统的同时定位与地图构建（SLAM）算法的基础上，提出了一种同时语境化与解释（SCAIN）方法。通过使用SCAIN算法，我们可以顺序优化上下文和单词解释之间的相互依赖关系，同时在线获得新的解释。为了进行实验评估，我们创建了两个数据集：一个来自维基百科的消歧页面，另一个来自真实对话。对于这两个数据集，结果证实SCAIN可以有效地实现顺序优化的相互依赖性和收购新的解释。
2020-05-29 cs.AI cs.CL
BERT-Defense: A Probabilistic Model Based on BERT to Combat Cognitively Inspired Orthographic Adversarial Attacks
Center of Cognitive Science（认知科学中心）；Natural Language Learning Group（自然语言学习组）；Technische Universität Darmstadt（达姆施塔特工业大学）
对抗攻击暴露了深度学习系统的重要盲点。虽然单词级和重复级攻击场景主要处理查找欺骗NLP模型的输入的语义释义，但字符级攻击通常会将错别字插入输入流。人们普遍认为，这些更容易通过拼写纠正模块进行防御。在这项工作中，我们表明，标准的拼写检查器和Pappii等人的方法。（2019），训练以防止插入，删除和交换，在Eger和Benz（2020）最近提出的字符级基准上表现不佳，其中包括更具挑战性的攻击，如视觉和语音扰动以及丢失的分词分割。相比之下，我们表明，一种未经训练的迭代方法，它将上下文无关的字符级别信息与来自BERT的掩蔽语言建模的上下文相关信息相结合，可以与来自Amazon Mechanical Turk（AMT）的通过3次学习监督的人类人群工作者相提并论。
2021-06-02 cs.CL cs.LG
A Quantum Many-body Wave Function Inspired Language Modeling Approach
Tianjin University（天津大学）；University of Padova（帕多瓦大学）；Beijing Institute of Technology（北京理工大学）
最近提出的量子语言模型（QLM）旨在通过应用量子概率理论来建模术语依赖的原则性方法。更有效的QLM的最新发展采用了词嵌入作为一种全局依赖信息，并将量子启发的想法集成到神经网络架构中。虽然这些量子激发的LM理论上更通用，实际上也更有效，但它们有两个主要局限性。首先，他们没有考虑到具有多重含义的单词之间的相互作用，这在理解自然语言文本中是常见的和重要的。其次，量子LM与神经网络的集成主要是为了有效地训练参数，但缺乏理论基础来解释这种集成。为了解决这两个问题，在本文中，我们提出了量子多体波函数（QMWF）启发的语言建模方法。QMWF启发的LM可以采用张量积来建模词之间的上述交互。这也使我们能够揭示在QMWF语言建模中使用卷积神经网络（CNN）的内在必要性。此外，我们的方法提供了一个简单的算法来表示和匹配文本/句子对。在3个典型的问答（QA）数据集上，与量子LM算法和几种基于CNN的方法进行了比较，系统的评价表明了QMWF-LM算法的有效性.
2018-09-03 cs.CL
Learning Word Representations with Hierarchical Sparse Coding
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的方法来学习单词表示使用层次正则化稀疏编码的启发，语言学研究的单词含义。我们展示了一种基于随机邻近方法的高效学习算法，该算法比以前的方法快得多，使得在数十亿单词标记的语料库上执行分层稀疏编码成为可能。各种基准任务的实验-词相似度排名，类比，句子完成，和情感分析-表明该方法优于或具有竞争力的最先进的方法。我们的单词表示可在\url{http://www.ark.cs.cmu.edu/dyogatam/wordvecs/}上找到。
2014-11-06 cs.CL cs.LG stat.ML
Sparse associative memory based on contextual code learning for disambiguating word senses
Institut Mines-Télécom Atlantique（法国大西洋矿业电信学院）；Centre Hospitalier Universitaire de Brest（布雷斯特大学医院中心）
在最近的文献中，上下文预训练的语言模型（LM）在将知识推广到几个自然语言处理（NLP）任务中表现出了它们的潜力，包括有监督的词义消歧（WSD），这是自然语言理解（NLU）领域中的一个具有挑战性的问题。然而，来自这些模型的单词表示仍然非常密集，在内存占用方面代价高昂，并且可解释性最低。为了解决这些问题，我们提出了一种新的监督生物启发技术，用于将大型预训练的语言模型表示转换为压缩表示，对于WSD的情况。我们产生的表示有助于增加框架的一般可解释性，并减少内存占用，同时提高性能。
2019-11-14 cs.CL cs.LG
Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors
Babylon Health（巴比伦健康）
最近的文献表明，在语义文本相似性任务中，平均词向量加上简单的后处理优于许多深度学习方法。此外，当平均词向量在大型释义语料库上进行监督训练时，它们在标准STS基准测试中获得了最先进的结果。受这些见解的启发，我们进一步推动了词嵌入的极限。我们提出了一种新的模糊词袋（FBoW）表示的文本，同时包含所有的词汇，但具有不同程度的成员资格，这是来自词向量之间的相似性。我们发现，最大池词向量是模糊BoW的一个特例，应该通过模糊Jaccard指数，而不是余弦相似性进行比较。最后，我们提出了DynaMax，一个完全无监督和非参数的相似性度量，动态提取和最大池良好的功能，这取决于句子对。这种方法既高效又易于实现，但在STS任务上的表现远远优于当前的基线，甚至可以与经过训练以直接优化余弦相似度的监督词向量竞争。
2019-04-30 cs.CL cs.LG
Mixed Membership Word Embeddings for Computational Social Science
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
词嵌入通过揭示词之间隐藏的结构关系来提高NLP系统的性能。尽管在许多应用中取得了成功，但词嵌入在计算社会科学NLP任务中的应用很少，可能是因为它们依赖于大数据，并且缺乏可解释性。本文提出了一种基于概率模型的词嵌入方法，该方法可以在不需要大数据的情况下恢复可解释的嵌入。关键的洞察力是利用混合成员建模，其中全局表示是共享的，但各个实体（即字典单词）可以自由地使用这些表示，以独特的不同程度。我将展示如何结合使用最先进的词嵌入和主题模型训练技术来训练模型。实验结果表明，在预测语言建模的MRR高达63%的跳跃-gram的改进，并证明表示是有益的监督学习。我说明了模型的可解释性与计算社会科学的国情咨文和NIPS文章的案例研究。
2018-02-20 cs.AI cs.CL cs.LG
A logical word embedding for learning grammar
Cornell University（康奈尔大学）
提出受前置群语法和范畴语法启发的 LGE 模型，可从极少语料中无监督推断词汇类别与句法规则，并透明生成新句子。
2023-06-06 cs.CL
Linguistically inspired morphological inflection with a sequence to sequence model
CLLE-CNRS（法国国家科学研究中心认知与语言实验室）；IRIT-CNRS（法国国家科学研究中心信息研究所）；DFKI（德国人工智能研究中心）
屈折变化是人类语言形态学的一个重要组成部分，然而近年来，语言学理论和计算方法的统一却很少。字符串操作的方法被用来推断屈折变化，我们的研究问题是，一个神经网络是否能够学习屈折词素的屈折生产在语言习得的早期阶段，以类似的方式对人类。我们正在使用一个屈折语料库（Metheniti和Neumann，2020）和一个单层seq2seq模型来测试这个假设，其中屈折词缀被学习和预测为一个块，词干被建模为一个字符序列来解释中缀。我们的基于字符语素的模型通过预测词干字符到字符和屈折词缀作为字符块来创建屈折变化。我们进行了三个实验，在给定引理和一组输入和目标特征的情况下创建单词的变形形式，将我们的架构与具有相同超参数，训练和测试集的主流基于字符的模型进行比较。总体而言，对于17种语言，我们注意到在已知词项的屈折变化方面有小幅改进（+0.68%），但我们的模型在预测未知词的屈折变化形式方面的性能稳步提高（+3.7%），在低资源情况下的预测方面也有小幅改进（+1.09%）。
2020-09-04 cs.CL
A Character-Word Compositional Neural Language Model for Finnish
Reaktor；Aalto University（阿尔托大学）
受最近研究的启发，我们探索了在字符水平上对高度形态芬兰语进行建模的方法，同时保持词级模型的性能。我们提出了一个新的字符到单词到字符（C2W2C）的组合语言模型，使用字符作为输入和输出，同时仍然在内部处理单词级嵌入。我们的初步实验，使用芬兰Europarl V7语料库，表明C2W2C可以很好地应对形态丰富的语言，如高出的词汇率，预测新的单词，和不断增长的词汇量的挑战。值得注意的是，该模型能够正确地对训练数据中不存在的屈折形式进行评分，并逐个字符地对语法和语义正确的芬兰语句子进行采样。
2016-12-10 cs.CL
A Neural Network Architecture for Learning Word-Referent Associations in Multiple Contexts
Universidade Federal de Pernambuco（伯南布哥联邦大学）
本文提出了一个生物启发的神经计算架构，学习在不同的上下文中的单词和所指对象之间的关联，考虑从心理语言学和神经语言学的文献收集的证据。多层架构将对象的原始图像作为输入该方法利用自组织映射（Self-Organizing Map）建立新的关联节点，将词的指称对象（references）和音素流（labels）建立适当的表示，识别当前上下文，并将labels与指称对象（references）逐步关联根据需要，调整现有原型以更好地表示输入刺激，并删除过时/未使用的原型。该模型考虑了当前上下文，以检索具有多个含义的单词的正确含义。仿真结果表明，该模型在歧义情况下的词指联想准确率可达78%，与三位作者在五个跨情境词学习实验中的学习率相当，在不同的学习条件下也表现出相似的学习模式。
2019-05-20 cs.CL cs.LG stat.ML
Learning Complex Word Embeddings in Classical and Quantum Spaces
Quantinuum（Quantinuum公司）
本文提出了基于经典Skip-gram的复数值词嵌入训练方法，包括直接复数替换和参数化量子电路（PQCs）方法，在38亿词语料库上验证了两阶段量子词嵌入与经典方法性能相当，为量子NLP提供了可扩展路径。
2024-12-18 cs.CL
Supervised Fine Tuning for Word Embedding with Integrated Knowledge
Nanyang Technological University（南洋理工大学）
词的学习向量表示是一个重要的研究领域，它可以帮助许多自然语言处理任务。现有的模型都存在两个局限性，即语境定义的偏差和知识利用的不足。它们很难处理，因为这些算法本质上是无监督学习方法。受深度学习的启发，作者提出了一个用于学习单词矢量表示的监督框架，以在无监督学习之后提供额外的监督微调。该框架是知识丰富的方法，并与任何数字矢量词表示兼容。作者进行内在评价，如归因和关系相似性预测和外在评价，如句子完成和情感分析。在6个嵌入和4个任务10个数据集上的实验结果表明，所提出的微调框架可以显着提高词的向量表示的质量。
2015-05-29 cs.CL
Ideogram Based Chinese Sentiment Word Orientation Computation
University of Electro-Communications（电气通信大学）
提出了一种新的中文情感词情感倾向度计算算法。该算法使用汉字，这是一个显着的特点，中文。该算法可以应用于任何情感分类方案。使用所提出的算法来计算词的情感倾向，只需要词本身和预先计算的字符本体，而不是语料库。分析了三个参数对算法性能的影响，并通过实验进行了验证。实验结果表明，该算法的F测度为85.02%，优于现有的基于表意文字的算法。
2011-10-19 cs.CL
From Image to Text Classification: A Novel Approach based on Clustering Word Embeddings
University of Bucharest（布加勒斯特大学）
受计算机视觉中广泛应用的视觉词袋模型的启发，提出了一种基于聚类词嵌入的文本分类方法。在使用预训练的词嵌入模型将文档集合中的每个词表示为词向量之后，对词向量应用k均值算法以获得固定大小的聚类集。每个聚类的质心被解释为一个超级词嵌入，它包含了嵌入空间某个区域中所有语义相关的词向量。然后将文档集合中的每个嵌入词分配到最近的聚类质心。最后，通过计算每个超级词嵌入在相应文档中的频率，将每个文档表示为一个超级词嵌入包。我们还偏离了为整个文档集合构建单个词汇表的想法，并建议构建特定于类的词汇表以获得更好的性能。使用这种表示，我们报告结果的两个文本挖掘任务，即文本分类的主题和极性分类。在这两个任务上，我们的模型都比标准的单词袋有更好的性能。
2017-07-25 cs.CL
Towards Data-Efficient Language Models: A Child-Inspired Approach to Language Learning
College of Engineering, University of Tehran（德黑兰大学工程学院）
本研究提出一种受儿童学习启发的数据高效语言模型训练方法，通过精选儿童导向语料、缩减词表至32,000 tokens并采用 curriculum learning，在部分 benchmarks 上超越 baseline，证明了数据选择与词汇缩放的重要性。
2025-03-06 cs.CL
Consistent Alignment of Word Embedding Models
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
词嵌入模型提供了连续的向量表示，可以根据词的共现模式捕获丰富的上下文语义。虽然这些词向量可以提供非常有效的功能，用于许多NLP任务，如聚类相似的单词和推断学习关系，但仍然存在许多挑战和开放的研究问题。在本文中，我们提出了一种解决方案，利用精心生成的合成数据点，在联合低维潜在空间中对齐相同模型（或不同模型）的变化。这种生成过程的灵感来自于这样一种观察，即各种语言关系可以通过嵌入空间中的简单线性运算来捕获。我们证明，我们的方法可以导致实质性的改善，在恢复嵌入的本地社区。
2017-02-24 cs.CL cs.IR stat.ML
MirrorWiC: On Eliciting Word-in-Context Representations from Pretrained Language Models
University of Cambridge（剑桥大学）
最近的研究表明，预训练的语言模型（PLM），如BERT和RoBERTa，甚至可以通过简单的自监督技术转换为有效的句子和单词编码器。受这一系列工作的启发，在本文中，我们提出了一种完全无监督的方法来改善PLM中的词上下文（WiC）表示，通过一个简单而有效的WiC目标微调过程实现：WiC WiC。所提出的方法仅利用从维基百科采样的原始文本，假设没有意义注释的数据，并在标准的对比学习设置中学习上下文感知的单词表示。我们实验了一系列跨多种语言的标准和全面的WiC基准测试。我们提出的完全无监督的MPLWiC模型在所有单语，多语言和跨语言设置中获得了比现成PLM更大的收益。此外，在一些标准的WiC基准测试中，WiC甚至可以与使用任务内数据和感觉标签进行微调的监督模型相提并论。
2021-09-19 cs.CL
Text Segmentation based on Semantic Word Embeddings
Cornell University（康奈尔大学）
我们探讨了语义词嵌入在文本分割算法中的应用，包括C99分割算法和受分布式词向量表示启发的新算法。通过开发一个通用的框架来讨论一类分割目标，我们研究了贪婪与精确优化方法的有效性，并提出了一种新的迭代细化技术，以提高贪婪策略的性能。我们使用已知的指标将我们的结果与已知的基准进行比较。我们展示了未经训练的方法与我们的内容向量分割（CVS）在Choi测试集上的最新性能。最后，我们将分割过程应用于由从arXiv.org数据库中的学术文章中提取的文本组成的野外数据集。
2015-03-18 cs.CL cs.IR
Towards Transparency in Coreference Resolution: A Quantum-Inspired Approach
University College London（伦敦大学学院）
本文提出一种量子启发式方法，将话语结构翻译为参数化量子电路并训练变分量子分类器，在Winograd代词消解任务上取得87.20%的F1分数，优于多数经典系统并接近SpanBERT。
2023-12-01 cs.AI cs.CL cs.LG
CLIMB: Curriculum Learning for Infant-inspired Model Building
University of Cambridge（剑桥大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文提出三种认知启发的课程学习变体（词汇、数据、目标）用于BabyLM挑战的婴儿启发模型构建，虽未在多数基准上超越基线，但在特定任务上获得边际收益，且架构与超参数选择带来显著改进。
2023-11-15 cs.CL
Parameter-free Sentence Embedding via Orthogonal Basis
Stanford University（斯坦福大学）；Microsoft（微软）
我们提出了一个简单而强大的非参数化的方法来建立句子表示。受几何理论中Gram-Schmidt过程的启发，我们构造了一个词与其周围语境在句子中所构成的子空间的正交基。我们基于两个方面对句子中的词的语义进行建模。一个是它与已经被它的上下文词所覆盖的词向量子空间的相关性。另一个是这个词的新的语义，这将被引入作为一个新的基向量垂直于这个现有的子空间。基于这个动机，我们开发了一种基于正交基的创新方法，将预训练的词嵌入组合成句子表示。这种方法需要零参数，以及高效的推理性能。我们在11个下游NLP任务上评估了我们的方法。与非参数化的替代方案相比，我们的模型显示出优越的性能，并且与依赖于大量标记数据或延长训练时间的其他方法相比具有竞争力。
2019-12-06 cs.CL
Vector of Locally-Aggregated Word Embeddings (VLAWE): A Novel Document-level Representation
University of Bucharest（布加勒斯特大学）
在本文中，我们提出了一种新的表示文本文档的基础上聚合词嵌入向量到文档嵌入。我们的方法的灵感来自于用于图像表示的局部聚集描述符向量，它的工作原理如下。首先，从文档集合中收集的词嵌入通过k均值聚类，以学习语义相关的词嵌入的码本。然后，每个词嵌入与其最近的聚类质心（码字）相关联。然后，通过累加每个码字向量和与相应码字相关联的每个词向量（来自文档）之间的差来计算文档的局部聚集词嵌入向量（VLAWE）表示。我们将以无监督方式学习的VLAWE表示插入到分类器中，并表明它对各种文本分类任务都很有用。我们将我们的方法与最近广泛的最先进的方法进行比较，证明了我们方法的有效性。此外，我们在Movie Review数据集上获得了相当大的改进，报告的准确率为93.3%，比最先进的方法绝对提高了10%。我们的代码可在https://github.com/raduionescu/vlawe-boswe/上获得。
2019-05-06 cs.CL
MeetEval: A Toolkit for Computation of Word Error Rates for Meeting Transcription Systems
Paderborn University（帕德博恩大学）；NTT Corporation（日本电报电话公司）
本研究推出开源工具包MeetEval，为会议转写系统提供统一的多类WER计算接口，通过为cpWER添加时间约束提升匹配质量与算法速度，还提出了从句段时序近似词级时序的有效方法。
2024-01-25 cs.CL eess.AS
Hierarchies over Vector Space: Orienting Word and Graph Embeddings
Stony Brook University（石溪大学）
本文提出一种从向量嵌入中构建有向根树的数据结构，通过按实体影响力降序插入节点来捕获层级方向，在超词关系、LCA发现和维基链接恢复任务上显著优于基线。
2024-11-09 cs.CL
An Embedded Deep Learning based Word Prediction
Samsung Electronics Co. Ltd.（三星电子有限公司）
深度学习的最新发展及其在语言建模中的应用已经在文本处理、总结和机器翻译任务中取得了成功。然而，部署巨大的语言模型的移动终端，如设备上的键盘构成了计算的瓶颈，由于其微不足道的计算能力。在这项工作中，我们提出了一种基于嵌入式深度学习的单词预测方法，该方法优化了运行时内存，并提供了一个实时的预测环境。我们的模型大小为7.40MB，平均预测时间为6.47毫秒。我们改进了现有的方法，用于单词预测的关键笔划节省和单词预测率。
2017-07-06 cs.CL
Word Embedding Dimension Reduction via Weakly-Supervised Feature Selection
University of Southern California（南加州大学）
针对词嵌入随词汇量增长维度升高、模型规模大且资源消耗高的问题，提出弱监督特征选择方法WordFS，在多任务上以更低计算成本实现优于现有降维方法的性能，并开源代码。
2024-11-04 cs.CL
Can LLMs Reason Abstractly Over Math Word Problems Without CoT? Disentangling Abstract Formulation From Arithmetic Computation
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Borealis AI
研究通过解耦抽象列式与算术计算，发现LLM在无CoT时的数学表现主要受限于算术计算，且模型能在单次前向传播中通过“先抽象后计算”机制处理这两项技能。
2025-05-29 cs.CL
Recognition Performance of a Structured Language Model
本文提出了一种受语言学分析启发的语音识别的新语言模型。该模型逐步开发隐藏的层次结构，并使用它来提取有意义的信息，从单词的历史-从而使使用扩展的距离依赖-在试图补充目前使用的三元模型的本地化。本文介绍了结构化语言模型及其概率参数化方法和在两遍语音识别器中的性能。实验结果表明，该模型在混淆度和单词出错率方面都优于传统的三元模型。
2000-01-24 cs.CL
Discriminative Training: Learning to Describe Video with Sentences, from Video Described with Sentences
Purdue University（普渡大学）
我们提出了一种从复杂和现实的视频片段中学习词义的方法，通过区分性地训练（DT）积极的语义标签对消极的，然后使用训练好的词模型来生成新视频的语义描述。这项新工作的灵感来自于最近的工作，该工作采用最大似然（ML）框架来解决仅使用正序标签的相同问题。与基于ML的方法一样，新方法能够自动确定句子中的哪些单词对应于视频中的哪些概念（即，以弱监督的方式将单词接地到含义）。虽然DT和ML在有足够的训练数据的情况下都能产生相当的结果，但DT在较小的训练集上明显优于ML，因为它可以利用负训练标签来更好地约束学习问题。
2013-06-21 cs.CL cs.CV
Word Importance Explains How Prompts Affect Language Model Outputs
DataRobot Germany（DataRobot德国）；DataRobot
本文提出通过掩码系统提示词中的单词并聚合多输入文本评分来计算单词重要性，以解释提示词对LLM输出的影响，实验显示其与后缀预期重要性高度一致。
2024-03-05 cs.AI cs.CL
Words as Bridges: Exploring Computational Support for Cross-Disciplinary Translation Work
University of Maryland（马里兰大学）
针对跨学科文献探索受领域行话阻碍的问题，提出保留行话作为概念桥梁的思路，调整无监督词嵌入跨语言对齐技术实现领域概念对齐，开发原型搜索引擎并通过案例研究验证，给出相关设计启示。
2025-03-24 cs.AI cs.CL cs.HC
Modelling General Properties of Nouns by Selectively Averaging Contextualised Embeddings
Nanjing University（南京大学）；CRIL CNRS & Univ Artois（法国国家科学研究中心与阿尔图瓦大学联合信息研究实验室）；Cardiff University（卡迪夫大学）
虽然预先训练的语言模型的成功在很大程度上消除了许多NLP应用中对高质量静态词向量的需求，但这些向量在需要在缺乏语言上下文的情况下对单词进行建模的任务中继续发挥重要作用。在本文中，我们将探讨如何语境化嵌入预测BERT可以用来产生高质量的词向量等领域，特别是有关知识库的完成，我们的重点是捕捉名词的语义属性。我们发现，一个简单的策略，平均的语境化嵌入的屏蔽词提到导致向量优于静态词向量学习的BERT，以及那些从标准的词嵌入模型，在属性归纳任务。我们特别注意到，掩蔽目标词对于实现这种强大的性能至关重要，因为所得到的向量较少关注特殊属性，而更多地关注一般语义属性。受此启发，我们提出了一种过滤策略，旨在消除最特殊的提及向量，使我们能够在属性归纳中获得进一步的性能增益。
2021-05-17 cs.AI cs.CL
Parallelizing Word2Vec in Shared and Distributed Memory
Parallel Computing Lab, Intel Labs（英特尔实验室并行计算实验室）
Word 2 Vec是一种广泛使用的用于提取词的低维向量表示的算法。它在机器学习和自然语言处理（NLP）社区中产生了相当大的兴奋，最近由于其在许多NLP应用中的出色表现，例如命名实体识别，情感分析，机器翻译和问答。包括Mikolov等人的那些算法在内的最先进的算法已经被并行化用于多核CPU架构，但是基于向量-向量运算，其是存储器带宽密集型的并且不能有效地使用计算资源。在本文中，我们提高了重用的各种数据结构的算法，通过使用minimirs，从而使我们能够表达的问题，使用矩阵乘法运算。我们还探讨了不同的技术来分配word 2 vec计算在计算集群中的节点，并表现出良好的强大的可扩展性高达32个节点。结合起来，这些技术使我们能够在核心和节点之间近似线性地扩展计算，每秒处理数亿个单词，这是我们所知最快的word 2 vec实现。
2016-08-08 cs.CL cs.DC stat.ML
Beyond Levenshtein: Leveraging Multiple Algorithms for Robust Word Error Rate Computations And Granular Error Classifications
Stuttgart Media University（斯图加特媒体大学）；University of Tübingen（蒂宾根大学）
针对ASR中WER计算因预处理丢失标点等信息的问题，提出基于扩展Levenshtein距离的非破坏性词元方法，结合多种算法实现稳健WER与细粒度错误分类，经多数据集验证等效，并提供标点错误率分析及开源Web工具。
2024-08-28 cs.CL cs.SD eess.AS
