NE-LP: Normalized Entropy and Loss Prediction based Sampling for Active Learning in Chinese Word Segmentation on EHRs
East China University of Science and Technology(华东理工大学);University of Shanghai for Science and Technology(上海理工大学)
医院信息系统中的电子健康档案(Electronic Health Records,EHR)包含了患者的诊断和治疗信息,因此EHR对临床数据采掘至关重要。中文分词(CWS)是挖掘过程中的一个基本而重要的任务,现有的分词方法大多依赖于大规模的人工标注数据。由于注释是耗时且昂贵的,因此已经致力于诸如主动学习的技术来定位用于建模的信息量最大的样本。本文顺应这一趋势,提出了一种针对EHR中CWS的主动学习方法。具体地说,提出了一种结合归一化熵和损失预测(NE-LP)的采样策略来选择最具代表性的数据。同时,为了最小化学习的计算成本,我们提出了一个联合模型,包括一个词分割器和一个损失预测模型。此外,为了捕捉相邻字符之间的交互,在联合模型中还应用了二元组特征。为了说明NE-LP的有效性,我们对上海中医药大学附属曙光医院的EHR进行了实验。结果表明,NE-LP始终优于传统的基于不确定性的采样策略的主动学习在CWS。
2020-07-17 cs.CL
Entropy analysis of word-length series of natural language texts: Effects of text language and genre
University of Athens(雅典大学);NCSR Demokritos(德谟克利特国家科学研究中心);Institute for Language and Speech Processing(语言与言语处理研究所)
我们估计了自然语言文本在字长表示中的$n$ -gram熵,发现这些熵对文本语言和体裁敏感。我们将这种敏感性归因于单个单词长度的概率分布的变化,并强调单词长度在5到10之间的概率的均匀性的关键作用。此外,与混洗数据的熵的比较揭示了估计的$n$ -gram熵的字长相关性的影响。
2014-01-17 cs.CL physics.data-an
Entropy in Large Language Models
Carl von Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西特齐克大学)
本研究比较了大语言模型与自然语言的词熵,发现LLM的词熵低于自然口语,旨在评估LLM训练数据对信息和不确定性的影响。
2026-02-23 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Sciences(数学与计算机科学学院);Federal University of São Carlos(圣卡洛斯联邦大学)
已经发现词嵌入以有效的方式为词提供有意义的表示;因此,它们在自然语言处理系统中变得普遍。在本文中,我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型,包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价,在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明,词类比是不适合词嵌入评价,任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
On the Effect of Anticipation on Reading Times
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院);MIT(麻省理工学院)
本文将阅读中的预期操作化为上下文熵,在四个自然阅读数据集上对比其与 surprisal 对阅读时间的预测力,证明阅读兼具反应性与预期性。
2023-07-14 cs.CL
Swap distance minimization beyond entropy minimization in word order variation
本文研究了词序变化中熵最小化与交换距离最小化的影响,提出平均交换距离作为新指标,并发现交换距离最小化效应超越熵最小化压力。
2026-01-13 cs.CL physics.soc-ph
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America(美国 NEC 实验室);Princeton(普林斯顿大学)
现代自然语言理解模型依赖于预训练的子词嵌入,但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明,严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后,我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱,但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy
提出一个后验、模型无关的框架,通过词对齐中的生育率和熵量化词汇和句法层面的上下文敏感性,揭示上下文选择性地重新分配生成责任。
2026-06-28 cs.CL
Classes for Fast Maximum Entropy Training
最大熵模型被许多人认为是语言建模研究中最有前途的途径之一。不幸的是,长时间的训练使得最大熵研究变得困难。我们提出了一种新的加速技术:我们改变了模型的形式,使用类。我们的加速是通过创建两个最大熵模型来实现的,第一个模型预测每个单词的类别,第二个模型预测单词本身。模型的这种分解导致更少的非零指示函数和更快的归一化,与以前最好的技术之一相比,实现了高达35倍的加速。它还导致通常稍低的困惑。同样的技巧也可以用来加速其他机器学习技术的训练,例如神经网络,应用于任何具有大量输出的问题,如语言建模。
2001-08-09 cs.CL
More than Word Frequencies: Authorship Attribution via Natural Frequency Zoned Word Distribution Analysis
随着数字文本数据的日益普及和可用性,由于易于复制和解析,数字文本的作者身份不能被视为理所当然。本文提出了一种新的文本风格分析方法--自然频率分区词分布分析(NFZ-WDA),并在此基础上提出了一种基本的数字文本作者归属方案和一种开放的数字文本作者归属方案。NFZ-WDA是基于这样一种观察,即所有作者都会在他们所写的文本中留下独特的内在词汇使用痕迹,这些内在风格可以被识别并用于分析作者身份。通过分析词在文本中的分布,可以估计出文本中的固有的词使用风格,这比一般的词频分析更有意义,可以表示为:文本中使用了哪些组词;每组词出现的频率如何;每组词在文本中的出现分布如何。接下来,基本作者归属方案和开放作者归属方案为封闭和开放作者归属问题提供了解决方案。通过分析和大量的实验研究,本文证明了所提出的方法的有效性的作者归属。
2012-08-15 cs.CL
Learning Distributed Word Representations for Natural Logic Reasoning
自然逻辑提供了一个强大的关系概念的意义,这是一个自然的对应分布式语义表示,这已被证明是有价值的,在广泛的复杂的语言任务。然而,它仍然是一个悬而未决的问题,是否有可能训练分布式表示,以支持丰富的,多样化的逻辑推理所捕获的自然逻辑。我们使用两种基于神经网络的模型来学习嵌入:普通神经网络和神经张量网络来解决这个问题。我们的实验评估了模型从模拟数据和WordNet名词图中学习自然逻辑关系的基本代数的能力。总体积极的结果是有希望的未来学习分布式表示的应用建模的逻辑语义。
2014-10-15 cs.CL
Definition Modeling: Learning to define word embeddings in natural language
Northwestern University(西北大学)
词的分布式表征已被证明可以捕捉词汇语义,这在词相似性和类比关系任务中表现出了有效性。但是,这些任务只是间接地评估词汇语义。在本文中,我们研究是否有可能利用分布式表示来生成单词的字典定义,作为嵌入语义的更直接和透明的表示。我们将介绍定义建模,即为给定单词及其嵌入生成定义的任务。我们提出了几种基于递归神经网络的定义模型架构,并在多个数据集上对模型进行了实验。我们的研究结果表明,控制被定义的单词和定义单词之间的依赖关系的模型表现得更好,并且旨在利用形态学的字符级卷积层可以补充单词级嵌入。最后,一个错误分析表明,由一个定义模型的错误可能会提供洞察词嵌入的缺点。
2016-12-01 cs.CL
Scale-dependent Relationships in Natural Language
Boston University(波士顿大学)
自然语言在广泛的尺度上表现出统计依赖性。例如,自然语言中单词之间的互信息随着它们之间的时间滞后而像幂律一样衰减。然而,许多应用于语言的统计学习模型在提取统计结构时强加了一个采样尺度。例如,Word 2 Vec构造了一个向量嵌入,该向量嵌入最大化了目标词和出现在语料库中附近的上下文词之间的预测。上下文的大小由用户选择,并定义了一个强大的规模;在更大的时间尺度上的关系将是不可见的算法。本文探讨了家庭的Word 2 Vec嵌入系统地操纵用于定义每个单词周围的上下文的采样尺度时产生的。主要的结果是,不同的语言关系优先编码在不同的尺度。不同的尺度强调了词与词之间不同的句法和语义关系,而且词在嵌入中的邻域也会随着尺度的不同而发生显著变化。这些结果表明,任何单独的规模只能确定一个词可能有意义的关系的一个子集,并指出发展无尺度模型的语义意义的重要性。
2019-12-16 cs.CL
Maximum Entropy, Word-Frequency, Chinese Characters, and Multiple Meanings
Beijing Jiaotong University(北京交通大学);University of Electronic Science and Technology of China(电子科技大学);Umeå University(于默奥大学)
作者所写的文本的词频分布很好地解释了最大熵分布,RGF(随机组形成)预测。RGF分布完全由文本中的单词总数(M)、不同单词的数量(N)和最常见单词的重复次数(k_max)的先验值确定。它在这里示出,这种最大熵预测也描述了一个文本写在汉字。特别是它表明,虽然相同的中文文本写在单词和汉字有很大不同的形状分布,但它们都很好地预测各自的三个先验特征值。有人指出,这是类似的形状的分布时,翻译一个给定的文本到另一种语言的变化。RGF预测的另一个结果是,取长文本的一部分将改变输入参数(M,N,k_max),因此也改变频率分布的形状。这一点在以汉字书写的文本中得到明确证实。由于在三个先验值(M,N,k_max)之外,RGF预测没有系统特定的信息,因此必须在与RGF预测和测量的频率的系统偏差中寻找任何特定的语言特征。一个这样的系统偏差被确定,并通过统计信息理论论证和扩展的RGF模型,提出这种偏差是由汉字的多重含义。对汉字的影响比对汉语单词的影响大。讨论了Zipf定律、Simon模型与本文结果的关系。
2015-03-29 cs.CL physics.soc-ph
Fast Entropy-Based Methods of Word-Level Confidence Estimation for End-To-End Automatic Speech Recognition
NVIDIA(英伟达);ITMO University(圣彼得堡国立信息技术机械与光学大学)
本文提出了一类新的用于自动语音识别的快速不可训练的基于熵的置信度估计方法。我们展示了如何对每帧熵值进行归一化和聚合,以获得连接主义时间分类(CTC)和递归神经网络转换器(RNN-T)模型的每单位和每个单词的置信度。提出的方法具有类似的计算复杂度的传统方法的基础上的最大每帧概率,但他们更可调,有一个更广泛的有效阈值范围,并更好地推开正确和不正确的单词的置信度分布。我们在LibriSpeech测试集上评估了所提出的置信度度量,并表明它们分别比基于Conformer-CTC和Conformer-RNN-T模型检测不正确单词的最大每帧概率的置信度估计高出2倍和4倍。
2022-12-16 cs.CL cs.IT cs.LG
Naturalization of Text by the Insertion of Pauses and Filler Words
PES University(PES大学)
在这篇文章中,我们介绍了一套基于自然人类语音的文本自然化方法。基于语音的交互提供了一种与电子系统交互的自然方式,最近正在广泛应用。通过在适当的位置插入停顿和填充词,这些计算机化的声音可以在一定程度上自然化。第一种提出的文本转换方法使用训练数据中二元组的频率来在输入句子中进行适当的插入。它使用概率分布从所有可能的插入中选择插入。这种方法速度很快,可以包含在文本到语音模块之前。第二种方法使用递归神经网络来预测下一个要插入的单词。它证实了由二元语法方法给出的插入。此外,归化的程度可以在这两种方法中控制。在盲测的情况下,我们得出结论,这些文本转换方法的输出与自然语音相当。
2020-11-07 cs.CL
Polysemy in Controlled Natural Language Texts
Institute of Mathematics and Computer Science, University of Latvia(拉脱维亚大学数学与计算机科学研究所)
计算语义学和基于逻辑的受控自然语言(CNL)没有系统地解决实词的词义消歧问题,即,他们倾向于只解释一些对构建话语表征结构至关重要的功能词。我们发现,微本体和多词单元允许整合的丰富和多义的多领域背景知识到CNL,从而提供解释的内容词。该方法通过扩展Attempto控制英语(ACE)与多义和程序结构,从而产生一个更自然的CNL命名为PAO覆盖叙事多域文本。
2015-11-20 cs.CL
Comparing Fifty Natural Languages and Twelve Genetic Languages Using Word Embedding Language Divergence (WELD) as a Quantitative Measure of Language Distance
University of California, Berkeley(加州大学伯克利分校)
我们引入了一种新的基于词嵌入的语言间距离度量,称为词嵌入语言分歧(WELD)。WELD定义为不同语言之间词汇相似性分布的差异。使用这样的措施,我们进行语言比较的50个自然语言和12个遗传语言。我们的自然语言数据集是一个从圣经翻译的跨各种语系的50种语言的平行语料库的集合。尽管我们使用并行语料库,可以保证所有语言都有相同的内容,但有趣的是,在许多情况下,同一家族中的语言会聚集在一起。除了自然语言之外,我们还对12种不同生物(4种植物,6种动物和2种人类)基因组中的编码区进行了语言比较。我们的结果证实了人类/动物与植物的遗传语言模型存在显著的高水平差异。所提出的方法是一个步骤,以定义一个定量的语言之间的相似性度量,在语言分类,体裁识别,方言识别和评估的翻译应用。
2016-04-28 cs.CL
OptAGAN: Entropy-based finetuning on text VAE-GAN
University of Bologna(博洛尼亚大学)
通过大型预训练模型的迁移学习改变了当前自然语言处理(NLP)应用的格局。最近,Optimus,一个结合了两个预训练模型BERT和GPT-2的变分自编码器(VAE)已经发布,它与生成广告网络(GANs)的结合已经被证明可以产生新颖但非常人性化的文本。Optimus和GANs的组合避免了将GANs应用于文本离散域的麻烦,并防止了标准最大似然方法的暴露偏差。我们将潜在空间中的GANs训练与Optimus解码器的微调相结合,以生成单个单词。这种方法让我们既可以对句子的高级特征进行建模,也可以对低级别的逐词生成进行建模。我们使用强化学习(RL)通过利用GPT-2的结构进行微调,并通过添加基于熵的内在激励奖励来平衡质量和多样性。我们对VAE-GAN模型的结果进行了基准测试,并展示了我们在三个广泛使用的文本生成数据集上进行RL微调所带来的改进,其结果大大超过了当前最先进的生成文本的质量。
2021-09-01 cs.CL
Automated Detection and Analysis of Power Words in Persuasive Text Using Natural Language Processing
VIT Bhopal University(VIT博帕尔大学)
本文提出基于自定义词典和Python包The Text Monger的强力词自动检测方法,通过分析小说、演讲和营销材料评估强力词对情感和读者参与度的影响,为内容创作者和广告商提供实用策略。
2024-09-28 cs.CL
Sequence-to-Sequence Models for Data-to-Text Natural Language Generation: Word- vs. Character-based Processing and Output Diversity
Institute for Natural Language Processing (IMS)(自然语言处理研究所);Universität Stuttgart(斯图加特大学)
我们提出了一个基于单词和基于字符的序列到序列模型的数据到文本的自然语言生成,生成结构化输入的自然语言描述的比较。在最近两代挑战的数据集上,我们的模型实现了与最佳挑战提交相比相当或更好的自动评估结果。随后的详细统计和人工分析揭示了两种输入表示之间的差异以及生成文本的多样性。在一个由模板生成的合成训练数据的对照实验中,我们展示了神经模型学习模板的新组合的能力,从而超越了它们所训练的语言结构。
2018-10-11 cs.CL
word representation or word embedding in Persian text
文本处理是自然语言处理的一个分支。最近,机器学习和神经网络方法的使用得到了更多的考虑。因此,文字的表现变得非常重要。本文介绍的是波斯语文本中的单词表示或将单词转换为矢量。在这项研究中,GloVe,CBOW和skip-gram方法更新,以产生嵌入向量的波斯语单词。为了训练一个神经网络,我们将Bijankhan语料库、Hamshahri语料库和UPEC语料库进行了合成和使用。最后,我们有342,362个单词在所有三个模型中获得了这些单词的向量。这些向量在波斯语自然语言处理中有许多用途。
2017-12-18 cs.CL
Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words
标准BERT采用基于子词的标记化,其可以将词分成两个或更多个词段(例如,将“无损”转换为“损失”和“较少”)。这将在以下情况下带来不便:(1)如何获得一个词被分成多个词块的上下文向量?(2)在不知道单词个数的情况下,如何通过完形填空预测单词?在这项工作中,我们探索了在单词词汇表而不是单词片段上开发BERT风格的预训练模型的可能性。我们把这种词级的BERT模型称为词级BERT。我们训练具有不同词汇大小、初始化配置和语言的模型。实验结果表明,与标准的基于词块的BERT相比,WordBERT在完形填空测试和机器阅读理解测试中有显著的提高。在许多其他自然语言理解任务中,包括POS标记,组块和NER,WordBERT始终比BERT表现得更好。模型分析表明,WordBERT相对于BERT的主要优势在于对低频词和生僻词的理解。此外,由于管道是独立于语言的,我们训练WordBERT中文语言,并获得五个自然语言理解数据集的显着收益。最后,通过对推理速度的分析,说明在自然语言理解任务中,WordBERT与BERT具有相当的时间开销。
2022-02-24 cs.CL
ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University(新加坡管理大学);Tencent AI Lab(腾讯人工智能实验室)
最近,一种新的训练oaxe损失已被证明有效地改善非自回归翻译(NAT)的多模态效果,它消除了标准交叉熵损失中的词序错误的惩罚。从直觉出发,重新排序通常发生在短语之间,我们通过只允许ngram短语之间的重新排序来扩展oaxe,并且仍然要求短语内的词序严格匹配。在跨语言对和数据规模的NAT基准测试上进行的大量实验证明了该方法的有效性和通用性。进一步的分析表明,所提出的ngram-oaxe解决了多模态问题,更好地建模短语翻译。进一步的分析表明,ngram-oaxe确实改善了ngram短语的翻译,并产生了更流畅的翻译与更好的句子结构建模。
2022-10-08 cs.CL
Towards Robustness Against Natural Language Word Substitutions
Nanyang Technological University(南洋理工大学);Xiamen University(厦门大学);National Institute of Informatics(国立信息学研究所)
对单词替换的鲁棒性具有定义明确且广泛接受的形式,即,使用语义相似的词作为替换,因此它被认为是在自然语言处理中实现更广泛的鲁棒性的基本垫脚石。先前的防御方法通过使用$l_2$ -球或超矩形来捕获向量空间中的单词替换,这导致扰动集不够包容或不必要地大,从而阻碍了鲁棒训练的最坏情况的模仿。在本文中,我们介绍了一种新的\textit{Adversarial Sparse Convex Combination}(ASCC)方法。我们将单词替换攻击空间建模为凸包,并利用正则化项来对实际替换进行扰动,从而使我们的建模更好地与离散文本空间对齐。基于ASCC方法,我们进一步提出了ASCC-defense,它利用ASCC来生成最坏情况的扰动,并将对抗训练纳入鲁棒性。实验表明,ASCC-defense在两个流行的NLP任务\emph{i.e.},情感分析和自然语言推理的鲁棒性方面优于当前最先进的技术,涉及跨多个模型架构的几种攻击。此外,我们还设想了一种新的NLP鲁棒性防御方法,我们鲁棒训练的词向量可以插入到正常训练的模型中,并在不应用任何其他防御技术的情况下增强其鲁棒性。
2021-07-28 cs.CL
Empirical Evaluation of Sequence-to-Sequence Models for Word Discovery in Low-resource Settings
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)(格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室);School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院);Institute of Informatics, Federal University of Rio Grande do Sul(南里奥格兰德联邦大学信息学研究所)
自Bahdanau等人[1]首次引入神经机器翻译的注意力以来,大多数序列到序列模型都使用了注意力机制[2,3,4]。虽然它们产生的软对齐矩阵可以被解释为目标语言和源语言之间的对齐,但我们缺乏量化其质量的指标,不清楚哪种方法产生最佳对齐。本文提出了一个经验评估的3个主要的序列到序列模型(CNN,RNN和基于Transformer-based)的单词发现从未分割的音素序列。该任务包括将源语言中的单词序列与目标语言中的音素序列进行比对,并从中推断目标侧的分词[5]。评估分词质量可以被看作是对训练期间产生的软对齐矩阵的外部评估。我们在Mboshi和英语语言(都与法语对齐)的低资源场景中的实验表明,RNN在这项任务中的表现出人意料地优于CNN和Transformer。我们的研究结果证实了通过使用平均归一化熵(ANE)的内在评价对齐质量。最后,我们通过使用对齐熵置信度度量来改进我们的最佳单词发现模型,该度量在集合中给定对齐对的所有出现上累积ANE。
2019-09-11 cs.CL
Calculating entropy at different scales among diverse communication systems
Universidad Simón Bolívar(西蒙·玻利瓦尔大学)
我们评估了改变观察尺度对文本描述熵度量的影响。在字符、单词和基本尺度上研究了编码音乐、计算机代码和两种人类自然语言,基本尺度是通过调整用于解释每个文本描述的符号长度直到产生最小熵来产生的。结果表明,基本尺度方法是可比的文字使用时,测量熵水平的书面文本。然而,这种方法也可以用于缺少文字的通信系统,例如音乐。在基本尺度上测量符号熵可以定量计算不同通信系统的相对复杂程度。研究结果为研究通信系统结构之间的差异开辟了新的视野。
2015-10-05 cs.CL cs.IT math.IT
Automatic Generation of Word Problems for Academic Education via Natural Language Processing (NLP)
Department of Industrial Engineering(工业工程系);DHBW Center for Advanced Studies(DHBW高级研究中心);Heilbronn(海尔布隆)
数字学习平台使学生能够按照灵活和个性化的时间表学习,并提供即时反馈机制。STEM教育领域要求学生解决大量的训练练习,以掌握基本概念。很明显,目前的在线教育在锻炼多样性和个性化方面存在限制。许多练习在结构和内容上几乎没有变化,阻碍了学生对抽象能力的采用。本文提出了一种生成多样化、上下文丰富的词汇问题的方法。除了要求生成的语言在语法上正确之外,应用题的性质还意味着对内容有效性的额外限制。所提出的方法被证明是有效的生成有效的数理统计应用题。实验结果提出了一个折衷的生成时间和行使的有效性。系统可以很容易地被参数化,以根据特定用例的要求来处理这种权衡。
2021-09-30 cs.CL
A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
词义消歧是自动识别句子中多义词的过程,是自然语言处理的一项基本任务。WSD方法的进展为NLP及其应用领域开辟了许多有前途的发展。事实上,在当前性能水平上的改进可以让我们向自然语言理解迈出第一步。由于缺乏词汇资源,有时很难对资源不足的语言进行词义消歧。本文探讨了如何运用词义归纳法对资源匮乏的语言进行词义消歧研究,并提出了一些值得关注的问题。
2013-10-05 cs.CL
Unveiling factors influencing judgment variation in Sentiment Analysis with Natural Language Processing and Statistics
Universidade da Coruña(拉科鲁尼亚大学);University of Augsburg(奥格斯堡大学)
本研究以西班牙语TripAdvisor评论为对象,利用单词标题和统计检验分析词性、情感词与中性词对众包极性判断差异的影响,发现形容词和情感词可降低差异、中性词提高差异,但该效应在长标题中未必复现。
2024-05-20 cs.CL
Looking at the Overlooked: An Analysis on the Word-Overlap Bias in Natural Language Inference
University of Amsterdam(阿姆斯特丹大学);University of Tehran(德黑兰大学);Tehran Institute for Advanced Studies(德黑兰高等研究院);Khatam University(哈塔姆大学)
它已被证明,NLI模型通常是有偏见的前提和假设之间的词重叠,他们把这个功能作为一个主要线索,预测蕴涵标签。在本文中,我们专注于一个被忽视的方面的重叠偏置NLI模型:反向词重叠偏置。我们的实验结果表明,目前的NLI模型高度偏向于具有低重叠的实例上的非蕴涵标签,并且据报道在现有挑战数据集上成功的现有去偏置方法通常在解决这类偏差方面无效。我们调查的原因出现的重叠偏见和少数的例子在其缓解的作用。对于前者,我们发现词重叠偏差并不源于预训练,而对于后者,我们观察到,与公认的假设相反,消除少数的例子并不影响去偏置方法关于重叠偏差的普遍性。
2022-11-07 cs.CL
Contrastive Unsupervised Word Alignment with Non-Local Features
Tsinghua University(清华大学)
词对齐是一项重要的自然语言处理任务,它反映了自然语言之间的对应关系。近年来,基于对数线性模型的词对齐的无监督学习由于结合了生成式和判别式方法的优点而受到广泛关注。然而,一个主要的挑战仍然存在:它是难以计算的非本地功能,这是至关重要的捕捉自然语言之间的分歧的期望。我们提出了一种对比的方法,旨在区分观察到的训练样本从噪音。它不仅引入了先验知识来指导无监督学习,而且取消了分区函数。基于观察到的概率质量的对数线性模型的字对齐通常是高度集中的,我们建议使用前n对齐来近似的期望后验分布。这允许有效且准确地计算非局部特征的期望。实验表明,我们的方法取得了显着的改进,国家的最先进的无监督字对齐方法。
2014-10-10 cs.CL
Towards a theory of word order. Comment on "Dependency distance: a new perspective on syntactic patterns in natural language" by Haitao Liu et al
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
刘海涛等“依存距离:自然语言句法模式的新视角“述评
2017-06-15 cs.CL physics.soc-ph
On Homophony and Rényi Entropy
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
谐音在自然语言中的广泛存在是一个有争议的话题。最近的语言最优性理论试图证明它的流行,尽管它对认知处理时间有负面影响;例如,Piantadosi et al.(2012)认为同音异义使有效的构词法得以重用,因此对语言有益。这一假设最近受到Trott和Bergen(2020)的挑战,他们认为好的构词法往往是同音的,仅仅是因为它们在音位上更有可能。在本文中,我们加入了辩论。首先,我们提出了一个新的信息论量化的语言的谐音:样本雷尼熵。然后,我们使用这个量化来重新审视Trott和Bergen的主张。虽然他们的观点在理论上是合理的,但他们实验中的一个具体方法问题引起了人们对他们结果的怀疑。在解决了这个问题之后,我们发现没有明确的压力,无论是对或对谐音-一个更微妙的结果比皮安塔多西等人。或Trott和Bergen的发现。
2021-09-28 cs.CL
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
PSDVec是一个学习词嵌入的Python/Perl工具箱,即将自然语言中的单词映射到连续向量,这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程,我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间,并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理(NLP)任务上,PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
The distribution of information content in English sentences
Communication University of China(中国传媒大学);Zhejiang University(浙江大学)
句子是一种基本的语言单位,然而人们对句子中不同位置的信息量分布情况却知之甚少。基于真实的英语语料,本研究计算了不同句子位置的熵和其他与熵相关的统计量。统计数据表明,三步楼梯形分布模式,与熵在初始位置低于中间位置(位置以外的初始和最终),中间位置低于最终位置和中间位置显示没有显着差异。结果表明:(1)在句中位置上,熵率恒定假设和信息密度均匀假设不成立;(2)句中词的语境不能简单地定义为同一句中所有在它前面的词;(3)句中的语境信息量不是递增的,而是遵循“整体大于部分之和”的规律。
2016-09-24 cs.CL
Discrete Word Embedding for Logical Natural Language Understanding
MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院)
我们提出了一个无监督的神经模型,用于学习单词的离散嵌入。与现有的离散嵌入不同,我们的二进制嵌入支持类似于连续嵌入的向量算术运算。我们的嵌入表示每个词作为一组命题语句描述的过渡规则在经典/CIPPS规划形式主义。这使得嵌入直接兼容的象征性,国家的最先进的经典规划求解器。
2020-10-15 cs.AI cs.CL
Word Embeddings for Chemical Patent Natural Language Processing
Elsevier(爱思唯尔)
我们评估了化学专利词嵌入对已知的生物医学嵌入,并表明他们优于后者的外在和内在。我们还表明,使用上下文嵌入可以诱导预测模型的合理性能,这个领域在一个相对较小的黄金标准。
2020-10-24 cs.CL cs.LG
Word-Sequence Entropy: Towards Uncertainty Estimation in Free-Form Medical Question Answering Applications and Beyond
University of Electronic Science and Technology of China(电子科技大学);Drexel University(德雷塞尔大学);University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学);Massachusetts Institute of Technology(麻省理工学院);Illinois Institute of Technology(伊利诺伊理工学院)
本文提出Word-Sequence Entropy(WSE)方法,通过在词和序列级别结合语义相关性校准不确定性,解决了开放式医疗问答中自由形式答案的不确定性量化偏差问题,显著提升了LLMs的不确定性量化性能与实际应用准确率。
2024-11-18 cs.AI cs.CL cs.LG
On the Entropy of Written Spanish
本文报告的结果熵的西班牙语。它们基于对n字符号(n = 1至18)、三元组、二元组和字符的自然语言的分析。在这项工作中获得的结果是基于12个不同的西班牙语文学作品的分析,以及由西班牙新闻社EFE提供的279917字的新闻文件。熵值的计算采用计算机处理和概率大数定律的直接方法。一阶模型软件源产生的人工西班牙语的三个样本也进行了分析,并与自然西班牙语。
2009-01-30 cs.CL cs.IT math.IT
Word-length entropies and correlations of natural language written texts
National Technical University of Athens(雅典国立技术大学);NCSR Demokritos(德谟克利特国家科学研究中心);National Observatory of Athens(雅典国家天文台);University of Athens(雅典大学);Athena R.C.(雅典娜研究中心)
我们研究了十种欧洲语言的字长的频率分布和相关性。我们的研究结果表明:a)由平均值和熵量化的短词的字长分布将乌拉尔语(芬兰语)语料库与其他语料库区分开来,b)长词的尾部,表现在分布的高阶矩中,区分日耳曼语族(英语除外)源自罗马语和希腊语,以及c)在日耳曼语和芬兰语的情况下,通过比较真实熵与混洗文本的真实熵来测量的附近字长之间的相关性被发现较小。
2014-01-24 cs.CL physics.data-an
Complexity and universality in the long-range order of words
The University of Manchester(曼彻斯特大学)
正如复杂系统产生的许多信号一样,语言呈现出一种在有序和无序之间平衡的统计结构。在这里,我们回顾和扩展最近的结果,从定量表征的程度,以便在语言序列,深入了解语言的两个相关方面:存在的统计共性在单词排序,语义信息和统计语言结构之间的联系。我们首先分析了相对熵的测量,它评估了单词的排序对语言整体统计结构的贡献。该测量在几个语言家族中呈现接近3.5比特/字的几乎恒定的值。然后,我们表明,直接应用信息论导致的熵测量,可以量化和提取语义结构的语言样本,即使没有先验知识的基础语言。
2015-03-03 cs.CL physics.data-an physics.soc-ph
Aligned Cross Entropy for Non-Autoregressive Machine Translation
Facebook AI Research(Facebook人工智能研究院)
非自回归机器翻译模型通过允许对整个目标序列的并行预测来显著地加速解码。然而,由于模型中缺乏自回归因子,因此建模词序更具挑战性。这个困难在训练过程中与交叉熵损失相结合,交叉熵损失可以严重惩罚词序中的小变化。在本文中,我们提出对齐交叉熵(AXE)作为一个替代的损失函数的非自回归模型的训练。AXE使用可微动态程序来基于目标令牌和模型预测之间的最佳可能单调对齐来分配损失。基于AXE的条件掩蔽语言模型(CMLM)训练大大提高了主要WMT基准测试的性能,同时为非自回归模型设定了新的最新技术水平。
2020-04-03 cs.CL cs.LG stat.ML
hauWE: Hausa Words Embedding for Natural Language Processing
Ahmadu Bello University(阿赫马杜·贝洛大学);Bayero University(巴耶罗大学)
词嵌入(分布式词向量表示)已经成为许多自然语言处理(NLP)任务的重要组成部分,例如机器翻译、情感分析、词类比、命名实体识别和词相似性。尽管如此,为豪萨语提供词向量的唯一工作是Bojanowski等人的工作。[1]使用fastText训练,仅由几个词向量组成。这项工作提出了使用Word2Vec的连续词袋(CBoW)和Skip Gram(SG)模型的单词嵌入模型。模型hauWE(Hausa Words Embedding)比之前的模型更大更好,使它们在NLP任务中更有用。为了比较这些模型,他们被用来预测10个最相似的单词,随机选择30个豪萨语单词。hauWE CBoW的88.7%和hauWE SG的79.3%的预测准确率大大优于Bojanowski等人[1]的22.3%。
2019-11-25 cs.AI cs.CL cs.IR
Word2Vec is a special case of Kernel Correspondence Analysis and Kernels for Natural Language Processing
Okayama University(冈山大学);Kyungpook National University(庆北国立大学)
我们表明,对应分析(CA)是等价于定义一个基尼指数与适当缩放的一热编码。利用这个关系,我们引入了一个非线性核扩展CA。这种扩展的CA通过使用适当列联表的专用内核给出了对自然语言的已知分析。我们提出了一个半监督CA,这是一个特殊情况下的核心扩展CA。由于CA在应用于众多类别时需要过多的内存,因此CA尚未用于自然语言处理。我们解决这个问题,引入延迟评估随机奇异值分解。然后将记忆高效的CA应用于词向量表示任务。我们提出了一个尾切内核,这是一个扩展的跳跃,在内核扩展CA的gram。我们的尾切内核优于现有的词向量表示方法。
2018-11-25 cs.CL cs.LG
The predictability of letters in written english
University of Wuppertal(伍珀塔尔大学)
我们表明,在书面英语文本中的字母的可预测性强烈地依赖于他们在单词中的位置。第一个字母通常最不容易预测。这与直觉上的概念一致,即单词是书面语言中定义良好的子单元,这些单元之间的相关性要比它们内部的相关性弱得多。这意味着单词内部每个字母的平均熵大约是第一个字母的熵的四分之一。
2007-10-26 cs.CL physics.soc-ph stat.ML
Out of Order: How Important Is The Sequential Order of Words in a Sentence in Natural Language Understanding Tasks?
Auburn University(奥本大学);Adobe Research(奥多比研究院)
最先进的自然语言理解模型是否关心词序--序列最重要的特征之一?不总是这样!我们发现,在许多GLUE任务上训练的基于BERT的分类器的正确预测中,有75%到90%在输入单词随机洗牌后保持不变。尽管BERT嵌入是众所周知的上下文,每个单词对下游任务的贡献几乎没有变化,即使在单词的上下文被打乱之后。基于BERT的模型能够利用表面线索(例如,情感分析中的关键词的情感;或者自然语言推理中的序列对输入之间的单词相似性)来在令牌以随机顺序排列时做出正确的决策。鼓励分类器捕获词序信息可以提高大多数GLUE任务,SQuAD 2.0和样本外的性能。我们的工作表明,许多胶水任务并不是挑战机器理解句子的含义。
2021-07-26 cs.AI cs.CL cs.LG
Toward a statistical mechanics of four letter words
Joseph Henry Laboratories of Physics(约瑟夫·亨利物理实验室);Lewis--Sigler Institute for Integrative Genomics(刘易斯-西格勒整合基因组学研究所);Center for the Study of Mind, Brain and Behavior(心智、大脑与行为研究中心);Princeton Center for Theoretical Physics(普林斯顿理论物理中心);Princeton University(普林斯顿大学)
该研究将四字母单词视为字母交互网络,用与字母成对相关性一致的最大熵模型近似其概率分布,捕捉约92%字母多信息、发现未在训练数据中的真实词,其能量景观局部极小值占书面英语所用单词近三分之二。
2007-12-31 cs.CL physics.data-an physics.soc-ph
The Natural Selection of Words: Finding the Features of Fitness
Ronin Institute(罗宁研究所);National Research Council Canada(加拿大国家研究委员会)
我们介绍了一个数据集,用于研究单词的演变,构建从WordNet和谷歌图书Ngram语料库。该数据集跟踪了从公元1800年到公元2000年的4,000个同义词集(synset)的演变,其中包含9,000个英语单词。我们提出了一个监督学习算法,能够预测未来的领导者的同义词集:在同义词集中,将有最高的频率。该算法使用基于单词长度、单词中的字符以及单词的历史频率的特征。它可以预测未来50年领导层的变化(包括新领导人的身份),其F分数远高于随机猜测。对学习模型的分析提供了对同义词集的领导者变化的原因的洞察。该算法证实了语言学家的观察结果,例如将-ise后缀替换为-ize的趋势,-ity和-ness后缀之间的竞争,以及经济(较短的单词更容易记住和书写)和清晰度(较长的单词更有特色,不太可能相互混淆)之间的斗争。结果表明,谷歌图书Ngram语料库与WordNet的整合对于提高我们对语言演变的理解具有重要的潜力。
2019-08-19 cs.CL cs.LG
Word Order and World Knowledge
Beihang University(北京航空航天大学);University of Copenhagen(哥本哈根大学)
本文通过五种语言、六种固定词序的文本预训练语言模型,并用词语类比探测词序对世界知识归纳的影响,发现固定词序表现存在稳定差异,而Wov2Lex假设不成立。
2024-03-01 cs.AI cs.CL
Integrating Symbolic Natural Language Understanding and Language Models for Word Sense Disambiguation
Northwestern University(西北大学)
本文提出利用统计语言模型和符号NLU系统整合的方法,实现无需人工标注数据的词义消歧。
2025-11-20 cs.AI cs.CL
WordNet2Vec: Corpora Agnostic Word Vectorization Method
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
大数据资源的复杂性需要新的结构化方法,尤其是文本内容。WordNet是全面抽象自然语言的一个很好的知识源,因为它的良好实现存在于许多语言中。针对WordNet以复杂网络的形式嵌入自然语言的特点,提出了WordNet 2 Vec转换机制。它为WordNet中的每个单词创建向量。这些向量封装了自然语言中给定单词相对于所有其他单词的一般位置-角色。任何这样的向量的列表或集合都包含关于其组件在整个语言中的上下文的知识。这样的词表示可以很容易地应用于许多分析任务,如分类或聚类。WordNet 2 Vec方法的有用性在情感分析中得到了证明,即对真实的Amazon意见文本数据集使用迁移学习进行分类。
2016-06-10 cs.AI cs.CL cs.DC
TextDefense: Adversarial Text Detection based on Word Importance Entropy
Zhejiang University(浙江大学);Shandong University(山东大学);National University of Defense Technology(国防科技大学)
当前,自然语言处理(NLP)模型被广泛用于各种场景。然而,NLP模型,像所有的深度模型一样,很容易受到逆向生成文本的影响。许多工作一直致力于减轻来自对抗攻击的脆弱性。然而,有没有全面的防御,在现有的作品中,每个工作针对一个特定的攻击类别或遭受的计算开销的限制,不可抗拒的自适应攻击等。在本文中,我们详尽地调查了自然语言处理中的对抗攻击算法,我们的实证研究发现,攻击算法主要是破坏文本中的单词的重要性分布。一个经过良好训练的模型可以区分干净文本和对抗性文本之间细微的重要性分布差异。基于这种直觉,我们提出了TextDefense,这是一种新的对抗性示例检测框架,它利用目标模型的能力来防御对抗攻击,同时不需要先验知识。TextDefense与以前的方法不同,它利用目标模型进行检测,因此与攻击类型无关。我们广泛的实验表明,TextDefense可以应用于不同的架构,数据集和攻击方法,并优于现有的方法。我们还发现,影响TextDefense性能的主要因素是目标模型的泛化能力。通过分析目标模型的性质和对抗样本的性质,对自然语言处理中的对抗攻击进行了深入的分析,并提出了相应的防御方法。
2023-02-12 cs.AI cs.CL cs.CR
Left-Branching Transformers Excel at Right-Branching Languages: Data Shapes Word Order Preferences in Language Models
Khoury College of Computer Sciences, Northeastern University(东北大学科里计算机科学学院);Faculty of Informatics TU Wien(维也纳技术大学信息学院)
研究对比仅解码器Transformer在192种人工及自然语言中的词序偏好,发现其在人工语言呈左分支偏好、自然语言随数据增长偏好SVO,证实词序偏差由数据驱动,或减少语言词序多样性。
2026-09-10 cs.AI cs.CL