How Well Does First-Token Entropy Approximate Word Entropy as a Psycholinguistic Predictor?
The Ohio State University（俄亥俄州立大学）；New York University（纽约大学）
本研究针对首词元熵近似单词熵存在低估与偏差的问题，提出允许单词含可变词元数的蒙特卡洛单词熵估计法，实验发现二者与阅读时长的回归结果有差异，提示使用首词元近似语境熵需谨慎。
2025-07-29 cs.CL
Extracting and Validating Explanatory Word Archipelagoes using Dual Entropy
The University of Tokyo（东京大学）
本文提出利用基于窗口的熵A提取词语群岛，并用基于图的熵B评估文本逻辑连通性，证明无先验知识下提取的解释性文本部分熵更低。
2024-09-28 cs.CL
The word entropy of natural languages
University of Tübingen（蒂宾根大学）；University of Cambridge（剑桥大学）
与单词相关的平均不确定性是定量和计算语言学核心的信息论概念。熵已经被确立为这种平均不确定性的度量-也称为平均信息含量。我们在这里使用21种语言的平行文本来建立单词熵收敛到稳定值的标记数量。然后，这些收敛点用于从大规模并行语料库中选择文本，并估计1000多种语言的词熵。我们的研究结果有助于建立定量的语言比较，了解多语言翻译系统的性能，并规范语义相似性措施。
2016-06-22 cs.CL
German in Flux: Detecting Metaphoric Change via Word Entropy
University of Stuttgart（斯图加特大学）；LMU Munich（慕尼黑大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文探讨了信息论测度熵在隐喻变化检测中的应用，将上位词检测的思想转移到语言变化的研究中。我们还建立了第一个历时测试集德语作为标准的隐喻变化注释。我们的模型表现出很高的性能，是无监督的，语言独立的和推广到其他过程的语义变化。
2017-06-15 cs.CL
Can Entropy Explain Successor Surprisal Effects in Reading?
Johns Hopkins University（约翰斯·霍普金斯大学）
人类的阅读行为对重复性很敏感：更可预测的单词往往会读得更快。出乎意料的是，这不仅适用于当前正在阅读的单词的连读，还适用于尚未固定的即将出现的（后续）单词的连读。这一发现被解释为读者可以旁联想地提取词汇信息的证据。对这种解释提出了质疑，Angele et al.（2015）表明，即使在这些后继词尚未可见的情况下，后继效应也会出现。他们假设继任者Rupsal预测阅读时间，因为它近似于读者对即将到来的单词的不确定性。我们使用LSTM语言模型在阅读时间语料库上测试了这一假设，并发现后继语义和熵是阅读时间的独立预测因子。这种独立性表明，熵本身不太可能是后继的熵效应的全部解释。
2018-10-26 cs.CL
Contrastive Entropy: A new evaluation metric for unnormalized language models
University of Florida（佛罗里达大学）
复杂度（每个单词）是评估语言模型的最广泛使用的度量。尽管如此，对这一指标的批评并不缺乏。这些批评大多集中在缺乏相关性的外部指标，如词出错率（WER），依赖于共享词汇的模型比较和不适合非规范化的语言模型评估。在本文中，我们解决了最后一个问题，并提出了一个新的判别熵为基础的内在度量，适用于传统的词级模型和非规范化的语言模型，如句子级模型。我们还提出了一个有区别地训练句子级解释的递归神经网络为基础的语言模型（RNN）作为一个例子，非规范化的句子级模型。我们证明，对于词级模型，对比熵表现出很强的相关性与困惑。我们还观察到，当在较低失真水平下训练时，句子级RNN在这个新指标上的表现大大优于传统RNN。
2016-03-31 cs.CL
Clustering Words by Projection Entropy
Boğaziçi University（海峡大学）
我们应用熵凝聚（EA），最近推出的算法，聚类的文学文本的话。EA是一个贪婪的凝聚过程，最小化投影熵（PE），一个函数，可以量化的分割元素集。为了应用它，文本被简化为一个特征分配，一个组合对象来表示文本段落中的单词occupancy。实验结果表明，EA，尽管其减少和简单，是有用的，在捕捉文本中的词之间的重要关系。这个过程是用Python实现的，并作为一个自由软件发布：REBUS。
2014-10-24 cs.CL cs.LG
The Lexical Imprint of Pre-training Data
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本研究发现词重叠程度与基准性能呈反比关系，表明基准性能受预训练数据与测试数据之间的词重叠影响，词频统计在其中起重要作用。
2026-10-27 cs.CL
NE-LP: Normalized Entropy and Loss Prediction based Sampling for Active Learning in Chinese Word Segmentation on EHRs
East China University of Science and Technology（华东理工大学）；University of Shanghai for Science and Technology（上海理工大学）
医院信息系统中的电子健康档案（Electronic Health Records，EHR）包含了患者的诊断和治疗信息，因此EHR对临床数据采掘至关重要。中文分词（CWS）是挖掘过程中的一个基本而重要的任务，现有的分词方法大多依赖于大规模的人工标注数据。由于注释是耗时且昂贵的，因此已经致力于诸如主动学习的技术来定位用于建模的信息量最大的样本。本文顺应这一趋势，提出了一种针对EHR中CWS的主动学习方法。具体地说，提出了一种结合归一化熵和损失预测（NE-LP）的采样策略来选择最具代表性的数据。同时，为了最小化学习的计算成本，我们提出了一个联合模型，包括一个词分割器和一个损失预测模型。此外，为了捕捉相邻字符之间的交互，在联合模型中还应用了二元组特征。为了说明NE-LP的有效性，我们对上海中医药大学附属曙光医院的EHR进行了实验。结果表明，NE-LP始终优于传统的基于不确定性的采样策略的主动学习在CWS。
2020-07-17 cs.CL
Entropy analysis of word-length series of natural language texts: Effects of text language and genre
University of Athens（雅典大学）；NCSR Demokritos（德谟克利特国家科学研究中心）；Institute for Language and Speech Processing（语言与言语处理研究所）
我们估计了自然语言文本在字长表示中的$n$ -gram熵，发现这些熵对文本语言和体裁敏感。我们将这种敏感性归因于单个单词长度的概率分布的变化，并强调单词长度在5到10之间的概率的均匀性的关键作用。此外，与混洗数据的熵的比较揭示了估计的$n$ -gram熵的字长相关性的影响。
2014-01-17 cs.CL physics.data-an
Development of Word Embeddings for Uzbek Language
Copper City Labs（铜城实验室）
在本文中，我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集，使用内部开发的高质量Web抓取语料库在word2vec，GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
Gated Word-Character Recurrent Language Model
Center for Data Science（数据科学中心）；New York University（纽约大学）
我们引入了一个具有长短期记忆（LSTM）单元的递归神经网络语言模型（RNN-LM），该单元利用字符级和单词级输入。我们的模型有一个门，自适应地找到字符级和单词级输入的最佳混合。门通过组合单词的两个不同表示来创建单词的最终矢量表示。使用双向LSTM将字符级输入转换为单词的向量表示。词级输入通过词查找表投影到另一个高维空间。单词的最终向量表示用于LSTM语言模型，该模型预测给定所有前面单词的下一个单词。我们的模型与门控机制有效地利用字符级输入的罕见和词汇外的单词，并优于词级语言模型在几个英语语料库。
2016-10-13 cs.CL
A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
词义消歧是自动识别句子中多义词的过程，是自然语言处理的一项基本任务。WSD方法的进展为NLP及其应用领域开辟了许多有前途的发展。事实上，在当前性能水平上的改进可以让我们向自然语言理解迈出第一步。由于缺乏词汇资源，有时很难对资源不足的语言进行词义消歧。本文探讨了如何运用词义归纳法对资源匮乏的语言进行词义消歧研究，并提出了一些值得关注的问题。
2013-10-05 cs.CL
Unknown Words Analysis in POS tagging of Sinhala Language
Virtusa Pvt. Ltd.（Virtusa私人有限公司）；University of Kelaniya（凯拉尼亚大学）
词性分析是任何语言的自然语言处理（NLP）任务中的一个非常重要的课题，它涉及到分析语言的结构、行为和动态，这些知识可以用于计算语言学分析和自动化应用。在这种情况下，处理未知词（未出现在词典中的词称为未知词）也是一项重要任务，因为越来越多的NLP系统用于越来越多的新应用。预测未知词的词汇类别的一个辅助手段是使用语言的句法知识。在标注过程中，通过区分开类词和闭类词，并结合本研究所用语言的句法特征来预测未登录词的词汇类别。通过实验研究了该方法在没有人工干预的情况下利用句法知识解析未登录词的能力。这个实验表明，当词类区分与句法规则一起使用时，标记过程的性能得到增强，以解析包含未知词的句子在僧伽罗语。
2015-01-06 cs.CL
Learning to Create and Reuse Words in Open-Vocabulary Neural Language Modeling
University of Oxford（牛津大学）；DeepMind
固定词汇的语言模型无法解释自然语言最具特征的统计事实之一：新词类型的频繁创建和重用。尽管字符级语言模型提供了部分解决方案，因为它们可以创建在训练语料库中未被证明的词类型，但它们没有捕获这些词的“突发”分布。在本文中，我们增强了一个分层LSTM语言模型，该模型通过一个学习重用先前生成的单词的缓存机制逐字符生成单词标记序列。为了验证我们的模型，我们构建了一个新的开放式词汇语言建模语料库（多语言维基百科语料库，MWC），从可比的维基百科文章在7种不同的语言类型，并证明了我们的模型在这一范围内的语言的有效性。
2017-04-23 cs.CL
Predicting Concreteness and Imageability of Words Within and Across Languages via Word Embeddings
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；University of Ljubljana（卢布尔雅那大学）；University of Zagreb（萨格勒布大学）
具体性和意象性的概念，传统上在心理语言学中很重要，在面向语义的自然语言处理任务中越来越重要。在本文中，我们通过监督学习研究这两个概念的可预测性，使用词嵌入作为解释变量。我们通过利用与单个向量空间对齐的跨语言嵌入集合来执行语言内和跨语言的预测。我们发现，具体性和形象性的概念是高度可预测的内部和跨语言，在预测跨语言的相关性高达20%的适度损失。我们进一步表明，通过词嵌入的跨语言迁移比通过双语词典的简单迁移更有效。
2018-07-09 cs.CL
Two-parameter Model of Word Length "Language - Genre"
提出了一个由音节数衡量的字长双参数模型。第一个参数依赖于语言类型，第二个参数依赖于文本体裁，反映了语言优化协同过程的完成程度。
2001-03-08 cs.CL
word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs
Kakao Brain
我们提出了word 2 word，一个公开的数据集和一个开源的Python包，用于从并行语料库中提取的跨语言单词翻译。我们的数据集在OpenSubtitles 2018中提供了62种语言的3，564（定向）语言对中的前k个单词翻译（Lison等人，2018年）。为了获得这个数据集，我们使用基于计数的双语词典提取模型的基础上观察，不仅源和目标词，而且源词本身可以高度相关。我们说明，由此产生的双语词典有很高的覆盖率，并达到竞争力的翻译质量的几种语言对。我们将数据集和模型包装在一个易于使用的Python库中，该库支持下载和检索任何支持的语言对中的前k个单词翻译，以及计算自定义并行语料库的前k个单词翻译。
2019-11-27 cs.CL
Analyzing the Surprising Variability in Word Embedding Stability Across Languages
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
词嵌入是一种强大的表示方法，它构成了英语和其他语言中许多自然语言处理架构的基础。为了进一步深入了解词嵌入，我们探讨了它们的稳定性（例如，不同嵌入空间中单词的最近邻之间的重叠）。我们讨论了与稳定性相关的语言特性，并提出了与词缀、语言性别系统和其他特征相关的见解。这对嵌入使用有影响，特别是在使用它们来研究语言趋势的研究中。
2021-09-09 cs.CL
Learning to Discover, Ground and Use Words with Segmental Neural Language Models
DeepMind（深度思维）；University of Oxford（牛津大学）
我们提出了一个分段神经语言模型，结合了神经网络的泛化能力与发现未分段字符序列中潜在的单词样单元的能力。与以前将分词视为一项孤立任务的分割模型相比，我们的模型统一了单词发现，学习单词如何组合在一起形成句子，以及通过调节视觉上下文模型，单词的含义如何在非语言模态的表示中扎根。实验表明，无条件模型比字符LSTM模型更好地学习预测分布，与非参数贝叶斯分词模型竞争性地发现单词，并且以视觉上下文为条件的语言建模提高了两者的性能。
2019-06-18 cs.CL
Automated Word Prediction in Bangla Language Using Stochastic Language Models
North South University（北南大学）；Daffodil International University（达夫迪尔国际大学）；Prime University（普莱姆大学）
单词补全和单词预测是打字中的两个重要现象，其有益于使用键盘或其他类似设备打字的用户。他们可以对残疾人的打字产生深远的影响。我们的工作是基于孟加拉语句子的单词预测，通过使用随机的，即N-gram语言模型，如unigram，bigram，trigram，删除插值和退避模型，通过预测句子中的正确单词来自动完成句子，这节省了时间和打字的时间，也减少了拼写错误。我们使用大量的孟加拉语不同词类型的数据语料库，以尽可能高的准确率预测正确的词。我们发现了有希望的结果。我们希望我们的工作将对自动化孟加拉语输入的基线产生影响。
2016-02-25 cs.CL
Addressing word-order Divergence in Multilingual Neural Machine Translation for extremely Low Resource Languages
Microsoft AI & Research（微软人工智能与研究院）
用于神经机器翻译（NMT）的迁移学习方法训练关于辅助-目标语言对（父模型）的NMT模型，其稍后针对感兴趣的源-目标语言对（子模型）进行微调，其中目标语言是相同的。在许多情况下，辅助语言具有与源语言不同的词序。我们发现，当源语言和目标语言之间几乎没有平行语料库时，不同的词序会限制迁移学习的益处。为了弥合这种分歧，我们提出了预排序的辅助语言句子匹配源语言的词序和训练父模型。我们对许多语言对的实验表明，弥合语序差距会显着提高翻译质量。
2019-04-10 cs.CL
Injecting Word Information with Multi-Level Word Adapter for Chinese Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们提高汉语口语语言理解（SLU）的词信息注入。以往的汉语二语习得研究没有考虑词的信息，没有检测出有利于意图检测和槽填充的词边界。针对这一问题，本文提出了一种多级词适配器，用于为中文SLU注入词信息。该适配器由两部分组成：（1）词级词适配器，直接融合词信息和字符信息的句子表示来进行意图检测;（2）字符级词适配器，应用于每个字符，有选择地控制词信息和字符信息的权重。在两个中文SLU数据集上的实验结果表明，该模型能够有效地捕捉到有用的词汇信息，取得了较好的性能。
2022-03-28 cs.CL
Principle Methods of Rendering Non-equivalent Words from Uzbek and Dari to Russian and English
Faryab University（法里亚布大学）
本文研究乌兹别克语和达里语中非等值词向俄语和英语翻译的原则性方法，基于文献研究提出翻译规则，并完成25个非等值词的翻译实践。
2025-08-21 cs.CL
Word Segmentation for Asian Languages: Chinese, Korean, and Japanese
Georgia Institute of Technology（佐治亚理工学院）
本文详细概述了中文、韩文和日文的多种分词方法，分析了各方法的优缺点，并指出该领域仍有未来研究空间。
2024-07-28 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Sciences（数学与计算机科学学院）；Federal University of São Carlos（圣卡洛斯联邦大学）
已经发现词嵌入以有效的方式为词提供有意义的表示;因此，它们在自然语言处理系统中变得普遍。在本文中，我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型，包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价，在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明，词类比是不适合词嵌入评价，任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
Hierarchical Character-Word Models for Language Identification
University of Washington（华盛顿大学）
社交媒体信息的简短和非常规拼写对语言识别构成了挑战。我们引入了一个层次模型，学习字符和上下文的单词级表示语言识别。我们的方法对强基线表现良好，也可以揭示码转换。
2016-08-10 cs.CL
Character-Word LSTM Language Models
KU Leuven（鲁汶大学）
我们提出了一个词-词长短期记忆语言模型，它既减少了相对于基线词级语言模型的困惑，并减少了模型的参数的数量。字符信息可以揭示单词之间的结构（不）相似性，甚至可以在单词不在词汇表中时使用，从而改善对不常见和未知单词的建模。通过连接单词和字符嵌入，与具有类似参数的基线模型相比，我们在英语上实现了2.77%的相对改进，在荷兰语上实现了4.57%的相对改进。此外，我们的表现也优于基线词级模型，具有更多的参数。
2017-04-10 cs.CL
Language classification from bilingual word embedding graphs
TU Darmstadt（达姆施塔特工业大学）；Goethe University（歌德大学）
我们在单语语义评价任务中研究了第二语言在双语词嵌入中的作用。我们发现，下游任务的表现和第二语言的相似性目标语言之间的强和弱的正相关。此外，我们展示了如何双语词嵌入可以用于语义语言分类的任务，联合语义空间在第二语言中有意义的方式不同。我们的研究结果支持这一假设，语义语言相似性的影响，结构相似性以及地理/接触。
2016-10-10 cs.CL
Modeling Word Emotion in Historical Language: Quantity Beats Supposed Stability in Seed Word Selection
Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
要理解历史文本，我们必须意识到语言--包括附加在词语上的情感内涵--会随着时间而变化。在本文中，我们的目的是估计的情感，这是与一个给定的词在以前的语言阶段的英语和德语。情绪是根据流行的效价-唤醒-支配（VAD）注释方案表示的。虽然更有表现力比极性单独，现有的词情感诱导方法通常不适合解决it. To克服这一限制，我们提出了两个流行的算法的改编VAD。为了衡量它们在历时环境中的有效性，我们提出了历史词汇情感的第一个黄金标准，这是由精通各自语言阶段的学者创建的，涵盖了英语和德语。与之前的研究结果相反，我们的研究结果表明，手工选择具有稳定情感意义的种子词实际上是有害的，而不是有益的。
2019-04-08 cs.CL
What do Language Models know about word senses? Zero-Shot WSD with Language Models and Domain Inventories
HiTZ Basque Center for Language Technologies（HiTZ巴斯克语言技术中心）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
语言模型是当今几乎所有自然语言处理系统的核心。它们的特殊性之一是它们的语境化表征，当有必要消除词义之间的歧义时，这是一个改变游戏规则的特征。在本文中，我们的目的是探讨在何种程度上语言模型能够辨别感官推理时间。我们通过提示常用的语言模型（如BERT或RoBERTa）执行词义消歧（WSD）任务来执行此分析。我们利用词义和领域之间的关系，并铸造词义消歧作为一个文本蕴涵问题，其中不同的假设是指词义的领域。我们的研究结果表明，这种方法确实是有效的，接近监督系统。
2023-02-07 cs.CL
Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words
标准BERT采用基于子词的标记化，其可以将词分成两个或更多个词段（例如，将“无损”转换为“损失”和“较少”）。这将在以下情况下带来不便：（1）如何获得一个词被分成多个词块的上下文向量？(2)在不知道单词个数的情况下，如何通过完形填空预测单词？在这项工作中，我们探索了在单词词汇表而不是单词片段上开发BERT风格的预训练模型的可能性。我们把这种词级的BERT模型称为词级BERT。我们训练具有不同词汇大小、初始化配置和语言的模型。实验结果表明，与标准的基于词块的BERT相比，WordBERT在完形填空测试和机器阅读理解测试中有显著的提高。在许多其他自然语言理解任务中，包括POS标记，组块和NER，WordBERT始终比BERT表现得更好。模型分析表明，WordBERT相对于BERT的主要优势在于对低频词和生僻词的理解。此外，由于管道是独立于语言的，我们训练WordBERT中文语言，并获得五个自然语言理解数据集的显着收益。最后，通过对推理速度的分析，说明在自然语言理解任务中，WordBERT与BERT具有相当的时间开销。
2022-02-24 cs.CL
Comparing Fifty Natural Languages and Twelve Genetic Languages Using Word Embedding Language Divergence (WELD) as a Quantitative Measure of Language Distance
University of California, Berkeley（加州大学伯克利分校）
我们引入了一种新的基于词嵌入的语言间距离度量，称为词嵌入语言分歧（WELD）。WELD定义为不同语言之间词汇相似性分布的差异。使用这样的措施，我们进行语言比较的50个自然语言和12个遗传语言。我们的自然语言数据集是一个从圣经翻译的跨各种语系的50种语言的平行语料库的集合。尽管我们使用并行语料库，可以保证所有语言都有相同的内容，但有趣的是，在许多情况下，同一家族中的语言会聚集在一起。除了自然语言之外，我们还对12种不同生物（4种植物，6种动物和2种人类）基因组中的编码区进行了语言比较。我们的结果证实了人类/动物与植物的遗传语言模型存在显著的高水平差异。所提出的方法是一个步骤，以定义一个定量的语言之间的相似性度量，在语言分类，体裁识别，方言识别和评估的翻译应用。
2016-04-28 cs.CL
Combining Word Feature Vector Method with the Convolutional Neural Network for Slot Filling in Spoken Language Understanding
CloudMinds Technology Inc.（达闼科技有限公司）
槽填充是口语语言理解（SLU）和自然语言处理（NLP）中的重要问题，其涉及识别用户的意图并将语义概念分配给句子中的每个词。本文提出了一种词特征向量的方法，并将其结合到卷积神经网络（CNN）中。我们考虑了18个单词特征，每个单词特征都是通过合并相似的单词标签来构建的。通过引入外部库的概念，我们提出了一种特征集的方法，这是有利于建立一个词从训练数据集和功能之间的关系。计算结果报告使用ATIS数据集和传统的CNN以及双向顺序CNN的比较也提出。
2018-06-18 cs.CL
Word Acquisition in Neural Language Models
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Department of Cognitive Science（认知科学系）；Halıcıoğlu Data Science Institute（Halıcıoğlu数据科学研究所）
我们研究了神经语言模型如何在训练过程中获取单个单词，提取学习曲线和MacArthur-Bates沟通发展量表上超过600个单词的获取年龄（Fenson等人，2007年）。借鉴儿童词汇习得的研究，我们评估了LSTM、BERT和GPT-2中词汇习得年龄的多个预测因素。我们发现，具体性，字长和词汇类的影响是有针对性的不同，在儿童和语言模型，加强互动和感觉运动经验在儿童语言习得的重要性。语言模型比儿童更依赖于词频，但像儿童一样，他们在较长的话语中表现出较慢的单词学习。有趣的是，模型在单向和双向模型以及LSTM和Transformer架构的训练过程中遵循一致的模式。模型在训练早期基于unigram标记频率进行预测，然后松散地过渡到bigram概率，最终收敛到更细微的预测。这些结果揭示了儿童分布式学习机制的作用，同时也为语言模型中更像人类的语言习得提供了见解。
2021-10-05 cs.CL
Does He Wink or Does He Nod? A Challenging Benchmark for Evaluating Word Understanding of Language Models
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
在大型语料库上预训练语言模型的最新进展已经在许多NLP任务上取得了很大的性能提升。这些大型模型在预训练期间获得语言知识，这有助于通过微调提高下游任务的性能。为了评估获得了什么样的知识，语言模型通常是通过“填空”式完形填空来查询的。现有的探测数据集主要集中在单词和实体之间的关系的知识。我们引入了WDLMPro（Word Definition语言模型Probing）来直接使用单词的字典定义来评估单词理解。在我们的实验中，三种流行的预训练语言模型很难匹配单词及其定义。这表明他们对许多单词的理解很差，我们的新探测任务是一个困难的挑战，可以帮助指导未来对LM的研究。
2021-02-06 cs.CL
Word length predicts word order: "Min-max"-ing drives language evolution
NTU Singapore（南洋理工大学）
本文提出基于最小-最大理论，通过词类长度与词序关系的实证研究，揭示词序变化的普遍机制。
2026-03-10 cs.CL
Word Sense Disambiguation for 158 Languages using Word Embeddings Only
Yandex（andex）
上下文中词义的消歧对人类来说很容易，但对自动方法来说是一个重大挑战。开发了复杂的监督和基于知识的模型来解决这一任务。然而，（i）给定单词的监督训练实例的固有Zipfian分布和/或（ii）语言知识表示的质量激发了完全无监督和无知识的词义消歧（WSD）方法的发展。它们对于资源不足的语言特别有用，这些语言没有任何资源来构建监督和/或基于知识的模型。在本文中，我们提出了一种方法，作为输入的标准预训练的词嵌入模型，并诱导一个完全成熟的词义库存，可用于在上下文消歧。我们使用这种方法在Grave et al.（2018）原始预训练的fastText词嵌入的基础上，为158种语言归纳了一系列意义清单，从而在这些语言中实现了WSD。模型和系统可在线获得。
2020-03-14 cs.CL
On the Effect of Anticipation on Reading Times
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）；MIT（麻省理工学院）
本文将阅读中的预期操作化为上下文熵，在四个自然阅读数据集上对比其与 surprisal 对阅读时间的预测力，证明阅读兼具反应性与预期性。
2023-07-14 cs.CL
Putting words in context: LSTM language models and lexical ambiguity
Universitat Pompeu Fabra（庞培法布拉大学）
在语言的神经网络模型中，单词通常使用上下文不变表示（词嵌入）来表示，然后将其置于隐藏层的上下文中。由于单词通常是模糊的，因此表示上下文相关的信息并不是微不足道的。我们研究了LSTM语言模型如何处理英语中的词汇歧义，设计了一种方法来探测其隐藏的词汇和上下文信息的表示。我们发现，这两种类型的信息表示在很大程度上，但也有改进的空间，上下文信息。
2019-06-12 cs.CL
Bangla Word Clustering Based on Tri-gram, 4-gram and 5-gram Language Model
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
在本文中，我们描述了一种研究方法，产生孟加拉语词集群的基础上，有关的意义在语言和上下文相似性。词聚类的重要性在于词性标注、词义消歧、文本分类、推荐系统、拼写检查、语法检查、知识发现以及许多其他自然语言处理（NLP）应用。在词聚类的历史上，英语和其他一些语言已经实现了一些有效的词聚类方法。但是由于资源的缺乏，孟加拉语的词聚类仍然没有得到有效的实现。目前，其执行工作正处于起步阶段。在一些基于一个关键词的前后五个词的英语词聚类研究中，他们发现了一个有效的结果。现在，我们正在尝试为孟加拉语实现词聚类的三元组，4元组和5元组模型，以观察其中哪一个是最好的。我们已经开始了我们的研究与相当大的语料库约1万孟加拉语单词。我们在这项研究中使用了机器学习技术。我们将生成词聚类，并通过测试一些不同的阈值来分析聚类。
2017-01-27 cs.CL
Problems of Non-equivalent Words in Technical Translation
Faryab University（法里亚布大学）
本文探讨了技术翻译中非对等词的翻译难题，基于英语到俄语的实例，总结了将非对等词从源语言翻译到目标语言的不同方法与规则。
2023-11-21 cs.CL
An Unsupervised Approach for Mapping between Vector Spaces
Inshorts（Inshorts公司）
我们提出了一种独立于语言的，无监督的方法转换词嵌入从源语言到目标语言使用的转换矩阵。我们的模型处理的问题，这是世界上许多语言所面临的数据稀缺，并产生改进的词嵌入的词在目标语言中依赖于转换嵌入的源语言。我们最初评估我们的方法通过词相似性任务对一个类似的语言对-印地语作为源和乌尔都语作为目标语言，而我们也评估我们的方法对法语和德语作为目标语言和英语作为源语言。我们的方法改善了当前最先进的结果-法语为13%，德语为19%。对于乌尔都语，我们看到比我们最初的基线分数增加了16%。我们进一步探讨了我们的方法的前景，通过将其应用于同一语言的多个模型，并在两个模型之间转移单词，从而解决了模型中丢失单词的问题。我们在单词相似性和单词类比任务中对此进行评估。
2017-11-20 cs.CL
A Character-Word Compositional Neural Language Model for Finnish
Reaktor；Aalto University（阿尔托大学）
受最近研究的启发，我们探索了在字符水平上对高度形态芬兰语进行建模的方法，同时保持词级模型的性能。我们提出了一个新的字符到单词到字符（C2W2C）的组合语言模型，使用字符作为输入和输出，同时仍然在内部处理单词级嵌入。我们的初步实验，使用芬兰Europarl V7语料库，表明C2W2C可以很好地应对形态丰富的语言，如高出的词汇率，预测新的单词，和不断增长的词汇量的挑战。值得注意的是，该模型能够正确地对训练数据中不存在的屈折形式进行评分，并逐个字符地对语法和语义正确的芬兰语句子进行采样。
2016-12-10 cs.CL
Rotations and Interpretability of Word Embeddings: the Case of the Russian Language
National Research University Higher School of Economics（国家研究型高等经济大学）
考虑一个连续的词嵌入模型。通常，词向量之间的余弦被用作词的相似性的度量。这些余弦在嵌入空间的正交变换下不会改变。我们证明了，使用SVD的一些规范正交变换，既可以增加一些组件的意义，又可以使组件在重新学习下更加稳定。我们研究了俄语（RusVectores，fastText，RDT）的公共模型组件的可解释性。
2017-07-14 cs.CL
The statistical trade-off between word order and word structure - large-scale evidence for the principle of least effort
Institute for the German Language (IDS), Mannheim, Germany（德语语言研究所（IDS），曼海姆，德国）
语言使用不同的策略来传递结构和语法信息。例如，虽然句子中的语法依赖关系主要通过汉语普通话或越南语等语言的单词排序来传达，但对于因纽特语或克丘亚语等语言，单词排序的限制要少得多，因为这些语言（也）使用单词的内部结构（例如屈折形态）来标记句子中的语法关系。基于对1,500多个独特的翻译圣经不同的书籍在1,100多个不同的语言，作为母语约60亿人的定量分析（超过世界人口的80%），我们提供了大量的统计贸易证据-单词排序所传达的信息量和单词内部结构所传达的信息量之间的差异：更强烈地依赖于词序信息的语言倾向于更少地依赖于词结构信息，反之亦然。此外，我们发现，尽管信息表达方式存在差异，但也有证据表明圣经正典的不同书籍之间存在权衡，这种权衡在不同语言之间几乎没有变化：书的词序信息量越多，其文字结构的信息量就越少，反之亦然。我们认为，这可能表明，一方面，语言编码信息的方式非常不同（但有效）。另一方面，与内容相关的特征和风格特征以非常相似的方式进行统计编码。
2016-08-25 cs.CL
Enhancing Cross-lingual Sentence Embedding for Low-resource Languages with Word Alignment
The University of Tokyo（东京大学）
针对低资源语言跨语言词表征对齐不足的问题，本文提出基于现成词对齐模型的显式词对齐框架，结合三项训练目标，显著提升低资源句子嵌入并保持高资源任务性能。
2024-04-03 cs.CL
Word Embedding based New Corpus for Low-resourced Language: Sindhi
University of Electronic Science and Technology of China（电子科技大学）
将词和短语表示为密集的实数向量，并将其语义和句法属性编码，是自然语言处理的一个重要组成部分。神经网络（NN）模型在自然语言处理中的成功很大程度上依赖于在大型未标记语料库上学习到的这种密集的词表示。信德语是一种丰富的形态语言，在巴基斯坦和印度有大量人口使用，但缺乏语料库，而语料库在生成词嵌入和开发独立于语言的NLP系统方面起着重要的测试作用。在本文中，超过61万字的大型语料库开发的低资源的信德语训练神经词嵌入。语料库是使用web-scrappy从多个网络资源中获取的。由于没有针对信德语的开源预处理工具，对如此庞大的语料库进行预处理成为一个具有挑战性的问题，特别是从Web资源中提取的噪声数据的清理。因此，采用预处理流水线来过滤噪声文本。然后，使用最先进的GloVe、Skip-Gram（SG）和连续词袋（CBoW）word 2 vec算法，利用清理后的词汇表来训练信德语词嵌入。采用余弦相似度矩阵的内在评价方法和WordSim-353对生成的信德语词嵌入进行评价。此外，我们比较建议的词嵌入与最近发现的信德快速文本（SdfastText）的单词表示。我们的内在评估结果表明，我们生成的信德语词嵌入使用SG，CBoW和GloVe相比，SdfastText词表示的高品质。
2020-12-30 cs.CL
Polylingual Wordnet
Insight Centre for Data Analytics（洞察数据分析中心）；Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立高威大学）
Princeton WordNet是自然语言处理最重要的资源之一，但仅适用于英语。虽然它已使用扩展方法翻译为许多其他语言，但这是一个昂贵的手动过程。因此，拥有一种高质量的自动翻译方法将是有益的，该方法将支持NLP技术，该技术依赖于新语言中的WordNet。词网的翻译从根本上是复杂的，因为需要翻译词的所有含义，包括低频含义，这对于当前的机器翻译方法是非常具有挑战性的。出于这个原因，我们利用现有的翻译WordNet在其他语言中识别上下文信息的WordNet意义上的一个大型的通用平行语料库。我们评估我们的方法使用10个翻译的欧洲语言的词网。我们的实验表明，在没有任何上下文信息的翻译显着改善。此外，我们评估如何选择的枢纽语言影响多语种词义消歧的性能。
2019-03-04 cs.CL
Probabilistic Modelling of Morphologically Rich Languages
Lincoln College（林肯学院）
本文研究了如何在语言的概率模型中考虑词的子结构。这种模型在诸如翻译或语音识别之类的自然语言处理任务中发挥着重要作用，但通常依赖于单词是不透明符号的简单假设。这种假设并不适合形态复杂的语言，其中单词可以具有丰富的内部结构，并且子单词元素在不同的单词形式中共享。我们的方法是将形态学的基本概念编码到三种不同类型的语言模型的假设中，目的是利用共享的子词结构可以提高模型性能，并有助于克服形态学过程中产生的数据稀疏性。在n-gram语言建模的背景下，我们制定了一个新的贝叶斯模型，依赖于复合词的分解，以达到更好的平滑，我们开发了一个新的分布式语言模型，学习矢量表示的语素，并利用它们连接在一起的形态相关的单词。在这两种情况下，我们表明，占字子结构提高了模型的内在性能，并提供了好处时，应用于其他任务，包括机器翻译。然后，我们将重点转移到单词序列的建模之外，并考虑自动学习给定语言的子单词元素是什么的模型，给定一个未注释的单词列表。我们制定了一个新的模型，可以学习不连续的词素除了更传统的连续词素，大多数以前的模型是有限的。这种方法被证明对闪族语言，我们发现，建模不连续的子字结构导致改进的任务分割成其连续的词素的单词。
2015-08-18 cs.CL
Swap distance minimization beyond entropy minimization in word order variation
本文研究了词序变化中熵最小化与交换距离最小化的影响，提出平均交换距离作为新指标，并发现交换距离最小化效应超越熵最小化压力。
2026-01-13 cs.CL physics.soc-ph
An exploratory study of L1-specific non-words
在本文中，我们探讨L1特定的非词，即非词在一个目标语言（在这种情况下，瑞典语），重新排名由不同的语言语言模型。我们推测，母语为某一特定语言的人对母语特有的非词的反应不同于对一般非词的反应。我们提出了两个小的案例研究的结果，探讨是否重新排名不同的语言模型的非单词导致感知差异“瑞典”（试点研究1）和是否德语和英语为母语的人有更长的反应时间在词汇决策任务时，提出了各自的L1特定的非单词（试点研究2）。初步的结果似乎表明，L1特定的非词处理第二慢，纯粹的瑞典人期待的非词。
2020-09-02 cs.CL
Evaluation of Croatian Word Embeddings
University of West Bohemia（西波西米亚大学）；University of Rijeka（里耶卡大学）
克罗地亚语是斯拉夫语系的一种资源贫乏且高度曲折的语言。目前，研究主要集中在英语上。我们创建了一个新的词类比语料库的基础上，原来的英语Word2vec词类比语料库，并添加了一些具体的语言方面的克罗地亚语。接下来，我们创建了克罗地亚语WordSim353和RG65语料库，用于单词相似性的基本评估。我们比较了基于Word2Vec工具和基于fastText工具的两种流行的词表示模型所创建的语料库。模型已在1.37 B令牌训练数据语料库上进行了训练，并在一个新的强大的克罗地亚语单词类比语料库上进行了测试。结果表明，模型能够创建有意义的单词表示。这项研究表明，自由的词序和克罗地亚语的形态复杂性较高的影响质量的词嵌入。
2017-11-07 cs.CL
Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation
Xinjiang Technical Institute of Physics & Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，神经机器翻译在机器翻译任务中取得了令人瞩目的成绩。然而，考虑到效率，仅包含前N个最高频率词的有限大小的词汇表用于模型训练，这导致许多稀有和未知词。对于那些词法复杂、词汇量大、资源贫乏、词法丰富的黏着语，翻译起来相当困难。在本文中，我们提出了一个形态分词方法的源端NMT，结合形态学知识，以保持在词结构的语言和语义信息，同时减少在训练时的词汇量。它可以作为一个预处理工具，在其他自然语言处理（NLP）任务的粘合语言的词分割。实验结果表明，本文提出的基于形态动机的分词方法更适用于NMT模型，在降低数据稀疏性和语言复杂度的同时，显著改善了土英和维汉机器翻译任务。
2020-01-02 cs.CL
