Direct and indirect evidence of compression of word lengths. Zipf's law of abbreviation revisited
Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学);University of Tübingen(蒂宾根大学)
本研究重访Zipf缩写定律,提供口语中46种语言、14个语系的广泛证据,并通过推导随机基线公式,直接证明词长系统性地低于偶然水平,为语言压缩提供直接与间接证据。
2023-05-27 cs.CL physics.soc-ph
Zipf's law emerges asymptotically during phase transitions in communicative systems
University of Miami Miller School of Medicine(迈阿密大学米勒医学院)
齐普夫定律预测了语言交流系统中词频和词序之间的幂律关系,并且在文本中被广泛报道,但其起源仍然是个谜。计算机模拟表明,语言交流系统出现在符号和对象之间映射保真度的突然相变。由于相变近似的Heaviside或阶梯函数,我们表明,Zipfian标度出现渐近高阶拉普拉斯变换的基础上。我们从而证明,齐普夫定律逐渐出现的时刻,在通信系统的相变。我们表明,这种幂律标度行为解释了自然语言的出现在相变。我们发现语言交际过程中齐普夫定律的出现表明,在相变阶段,词汇中稀有词的使用对于有效交际系统的构建至关重要。
2016-04-01 cs.CL physics.soc-ph
Compression and the origins of Zipf's law for word frequencies
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
在这里,我们勾勒出一个新的推导齐普夫定律的词频最佳编码的基础上。推导的结构让人想起了曼德尔布罗特的随机类型模型,但它比随机类型有多个优点:(1)它从现实的认知压力开始(2)它不需要微调参数(3)它揭示了语言的其他统计规律的起源,从而可以导致语言规律的紧凑理论。我们的研究结果表明,齐普夫定律在人类语言中的重现可能源于对简单快速沟通的压力。
2016-07-20 cs.CL physics.data-an physics.soc-ph
Zipf's Law and the Frequency of Characters or Words of Oracles
Anhui University(安徽大学)
本文讨论了甲骨文中文字的频率问题,认为文字的频率和字的等级符合Zipf-Mandelboit定律或Zipf三参数定律,并根据频率求出了相应的参数,指出甲骨文研究者所谓的"两端组合“只是他们对甲骨文数据印象的描述。
2014-12-09 cs.CL math.ST stat.TH
Non-Zipfian Distribution of Stopwords or Function Words and Subset Selection Models
该研究提出了一种基于Hill函数的停用词选择模型,通过分析停用词和非停用词的排名-频率分布,揭示了其在Zipf定律下的分布特性。
2026-07-24 cs.CL
Universal Complex Structures in Written Language
Centre de Recerca Matemàtica(数学研究中心);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);Universitat de Barcelona(巴塞罗那大学)
定量语言学为我们提供了一些经验法则,解释了语言的演变和语言之间的竞争。在语言使用方面,最有影响力的结果之一是齐普夫的词频定律。齐普夫定律似乎是普遍的,甚至可能不是人类语言所独有的。然而,Zipf定律是否是复杂性的良好指标一直存在争议。在这里,我们提出了一种替代方法,把齐普夫定律的关键现象(在物理学中的复杂性的基石)的背景下,并建立了一个大规模的“吸引力”连续重复的话之间的存在。此外,这种现象是尺度不变的和普遍的-模式是独立的词频和观察文本由不同的作者和写在不同的语言。然而,有证据表明,对于在文本中发挥关键作用的单词,缩放关系的形状会发生变化,这意味着单词重复中存在不同的“普遍性类”。这些行为与复杂的灾难现象有着惊人的相似之处。
2009-01-19 cs.CL physics.soc-ph
Beyond Zipf's law: Modeling the structure of human language
IFISC (CSIC-UIB) Instituto de Física Interdisciplinar y Sistemas Complejos(IFISC(西班牙国家研究委员会-巴利阿里群岛大学)跨学科物理与复杂系统研究所);Indiana University(印第安纳大学);ISI Foundation(ISI基金会)
人类语言是人类历史上最强大的交流系统,与认知密切相关。书面文本是语言的基本表现形式之一,对它的普遍性的研究可以为我们的大脑如何处理信息以及我们作为一个社会如何组织和分享信息提供线索。相比之下,其他基本属性,如存在的突发罕见的话,在特定的文件,主题组织的集合,或次线性增长的词汇量与文件的长度,只被研究了一个接一个,主要是应用启发式方法,而不是基本原则和一般机制。因此,缺乏对语言过程作为复杂的涌现现象的理解。除了Zipf的词频定律之外,这里我们关注的是Heaps定律,突发性和文档集合的主题性,这些文档集合编码了随机空模型中不存在的文档内部和跨文档的相关性。我们介绍并验证了生成模型,解释了所有这些模式的同时出现,从简单的规则。因此,我们发现罕见的单词的突发性和文本的主题组织之间的连接,并确定动态字排名和记忆跨文件的关键机制,解释非平凡的书面文本的组织。我们的研究可以在计算机科学、认知科学和语言学中具有广泛的意义和实际应用。
2009-02-03 cs.CL physics.soc-ph
Polysemy and brevity versus frequency in language
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
G. K.齐普夫对词频与其他词的特征之间关系的研究导致了各种语言学规律的制定。最流行的是Zipf的词频定律。在这里,我们集中在两个法律,已经研究得不太深入:意义频率的法律,即更频繁的词是多义的趋势,和缩写的法律,即更频繁的词是更短的趋势。在以前的工作中,我们测试了这些Zipfian定律对英语的鲁棒性,粗略地测量了字长的字符数,并区分了成人和儿童的语音。在本文中,我们将我们的研究扩展到其他语言(荷兰语和西班牙语),并介绍了两个额外的长度措施:音节长度和音素长度。相关分析表明,意义频率规律和缩略语规律在所有被分析的语言中总体上是一致的。
2019-03-27 cs.CL physics.soc-ph
The Morphemic Origin of Zipf's Law: A Factorized Combinatorial Framework
Aitiologia LLC(Aitiologia公司)
本文提出了一种基于词素组合的模型,通过概率激活机制生成齐普夫定律现象,无需意义或通信压力。
2025-12-13 cs.CL physics.soc-ph stat.AP
Zipf's law in 50 languages: its structural pattern, linguistic interpretation, and cognitive motivation
Communication University of China(中国传媒大学);Anhui Jianzhu University(安徽建筑大学);Zhejiang University(浙江大学);Ningbo Institute of Technology, Zhejiang University(浙江大学宁波理工学院)
齐普夫定律在许多与人类相关的领域都有发现,包括语言,其中一个词的频率一直被发现是其频率等级的幂律函数,称为齐普夫定律。然而,Zipf定律究竟是一个普遍规律还是一个统计学上的假象,人们对其形成的机制还知之甚少。为了回答这些问题,本研究对Zipf定律进行了大规模的跨语言调查。统计结果表明,50种语言中的齐普夫定律都具有三段结构模式,每段都有其独特的语言特性,下段总是向下弯曲,偏离理论预期。这一发现表明,这种偏离是自然语言中词频分布的一个基本和普遍的特征,而不是低频词的统计误差。基于双加工理论的计算机模拟得到了具有相同结构模式的Zipf定律,表明自然语言的Zipf定律是由共同的认知机制驱动的。这些结果表明,语言中的齐普夫定律是由控制人类言语行为的双重加工等认知机制驱动的。
2018-07-05 cs.CL
Zipf Distributions from Two-Stage Symbolic Processes: Stability Under Stochastic Lexical Filtering
Aitiologia LLC(Aitiologia公司)
本研究通过几何机制解释Zipf定律的起源,提出全组合词模型在随机词汇过滤下的稳定性,揭示Zipf定律可能源于几何约束而非语言效率。
2025-11-26 cs.CL stat.ME stat.ML
Zipf's laws of meaning in Catalan
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
在他的开创性研究中,G. K.齐普夫提出了两个关于词的频率与其含义数量之间关系的统计定律:含义分布定律,将词的频率与其频率等级联系起来,以及含义频率定律,将词的频率与其含义数量联系起来。虽然这些法律是在半个多世纪前制定的,但它们只被用几种语言研究过。在这里,我们提出了这些法律在加泰罗尼亚语的第一次研究。我们验证这些法律在加泰罗尼亚语通过它们的指数之间的关系和秩频率法。我们提出了一个新的协议,这些Zipfian法律,可以扩展到其他语言的分析。我们报告的第一个证据表明,这些法律在书面语言和语音的两个显着的制度,平行的两个政权在齐普夫的排名频率法在大型多作者语料库中发现在21世纪初。最后,将讨论这两种制度的影响。
2021-06-30 cs.CL
Text mixing shapes the anatomy of rank-frequency distributions: A modern Zipfian mechanics for natural language
The University of Vermont(佛蒙特大学)
自然语言充满了规则和例外。最著名的数量规则之一是齐普夫定律,它指出一个词出现的频率与它的等级近似成反比。虽然这种排名的“法律”已被发现持有不同的文本和形式的数据,越来越大的语料库在过去15年的分析表明,存在两个缩放制度。到目前为止,这些制度已经解释了一个假设,表明语言分为核心和非核心词汇的分离。在这里,我们提出并捍卫另一种假设,这两个缩放制度的聚合文本的行为的结果。我们观察到,文本混合导致一个有效的衰减的字介绍,我们表明,提供了准确的预测的位置和严重程度的休息缩放。在研究古腾堡电子书项目(电子书)中10种语言的大型语料库后,我们发现了对我们主张的普遍性的实证支持。
2015-01-30 cs.CL physics.soc-ph
Is space a word, too?
Drexel University(德雷塞尔大学)
换句话说,秩-频分布长期以来一直被认为符合一个潜在的普遍现象,即齐普夫定律。这一经验现象的假设形式被本尼迪克特·曼德尔布罗特提炼为现在被称为齐普夫-曼德尔布罗特定律的形式。与此同时,Herbet Simon提出了一个可能解释齐普夫定律的选择模型。然而,西蒙和曼德尔布罗特之间的重大争议,显着的经验例外,以及西蒙的模型和齐普夫-曼德尔布罗特定律之间缺乏强有力的经验联系,留下了普遍性和机械生成的问题。我们通过展示分词的暗物质,即,空格、标点等,把齐普夫-曼德布洛定律和西蒙的机械过程联系起来。这就解释了曼德尔布罗特的改进只不过是一个模糊因子,适应了排除秩频暗物质的影响。因此,整合这些非词对象解决了更普遍的等级频率定律。由于这依赖于空间等的整合,我们发现支持的假设,$all$产生的共同进程,从物理的角度来看,空间是一个字,太。
2017-10-20 cond-mat.stat-mech cs.CL
"Genlangs" and Zipf's Law: Do languages generated by ChatGPT statistically look human?
本文检验ChatGPT生成的Voxphera、Vivenzia和Lumivoxa是否符合Zipf定律,发现其词频排名关系接近人类自然语言和人工语言,从而支持LLM生成语言具有类人统计特征。
2023-03-31 cs.CL
Phase transitions in a decentralized graph-based approach to human language
Pontificia Universidad Católica de Valparaíso(瓦尔帕莱索天主教大学);Centro de Investigación DAiTA Lab(DAiTA实验室研究中心);Facultad de Estudios Interdisciplinarios, Universidad Mayor(马约尔大学跨学科研究学院);Escuela de Ingeniería Informática Pontificia Universidad Católica de Valparaíso(瓦尔帕莱索天主教大学信息工程学院)
Zipf定律建立了大文本语料库中词频的缩放行为。Zipfian属性在人类语言中的出现以前被解释为说话者和听话者利益的优化问题。另一方面,类似人类的词汇表可以被视为二分图。这里的目的是双重的:在一个二分图的方法来人类词汇,提出了一个分散的语言游戏模型的Zipfian属性的形成。要做到这一点,我们定义了一个语言游戏,在其中的人工代理的人口参与理想化的语言交互。数值模拟表明,出现了一个相变,从一个最初的无序状态到三个可能的语言形成阶段。我们的研究结果表明,Zipfian属性在语言中似乎部分来自分散的语言之间的相互作用,赋予二分词的含义映射。
2020-03-04 cs.CL physics.soc-ph
Relating Zipf's law to textual information
Central China Normal University(华中师范大学);Yerevan Physics Institute(埃里温物理研究所)
齐普夫定律是定量语言学的主要规律。尽管有许多著作致力于这一规律的基础,它仍然是不清楚的,它是否只是一个统计规律,或者它与文本的信息承载结构有更深层次的关系。这个问题涉及到区分一个有意义的文本(写在一个未知的系统)从一组无意义的符号,模仿文本的统计特征。在这里,我们通过比较文本的前半部分(从开始到中间)和后半部分的特征来解决这些问题。这种比较可以揭示隐藏的效果,因为这两部分具有相同的许多参数值(风格,流派,作者的词汇表{ \it等})。在所有研究的文本中,我们看到,对于前半部分,齐普夫定律适用于比后半部分更小的等级,即该定律适用于前半部分。此外,在前半部分保持齐普夫定律的单词在文本中分布得更均匀。这些特征确实可以将有意义的文本与随机的单词序列区分开来。我们的研究结果与我们研究的大多数情况下的一些文本特征相关:前半部分词汇丰富,有更长和更少的重复单词,更多和更短的句子,更多的标点符号和更多的段落。这些差异表明,在更高层次的文本组织,到目前为止还没有注意到在篇章语言学。他们将齐普夫定律的有效性与文本信息联系起来。对这种效应的完整描述需要新的模型,尽管一个现有的模型可以解释它的一些方面。
2018-09-22 cs.CL nlin.AO physics.soc-ph
"The Sum of Its Parts": Joint Learning of Word and Phrase Representations with Autoencoders
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));Facebook AI Research(Facebook人工智能研究院)
最近,人们在连续向量空间中表示单词方面做了很多努力。这些表征已被证明可以捕获有关单词的语义和句法信息。然而,短语的分布式表示仍然是一个挑战。我们介绍了一种新的模型,共同学习词向量表示及其总和。使用词共现统计信息来学习词表示。为了将具有不同大小的单词(即短语)序列嵌入到一个共同的语义空间中,我们建议对单词向量表示进行平均。与以前的方法,报告了后验的一些组成方面的简单的求和,我们同时训练字求和,同时保持最大的信息从原始向量。我们评估质量的词表示几个经典的词评价任务,我们引入了一个新的任务来评估质量的短语表示。虽然我们的分布式表示与其他方法的学习单词表示字评价竞争,我们表明,他们提供更好的性能的短语评价。这样的短语表示对于自然语言处理中的许多任务可能是有趣的。
2015-06-18 cs.CL
Zipf's law is a consequence of coherent language production
University of California, Berkeley(加州大学伯克利分校);The University of Vermont(佛蒙特大学)
文本分割的任务可以在文本分析的许多层次上进行--段落,句子,单词,甚至是字母。在这里,我们专注于一个相对精细的规模分割,假设它是符合随机模型的语言生成,作为最小的规模,独立的意义单位产生。我们在这封信中的目标包括开发用于分割这些最小独立单元的方法,这些最小独立单元产生与术语袋模型的独立性假设相一致的文本的特征表示,该模型通常用于计算文本分析中的预测和分类。我们还提出了测量文本的关联(相对于实现分割)的语言生成的模型。我们发现(1)我们的短语分割比单词更好地与生成模型相关联,(2)适合的文本通常是主题同质的。由于我们的生成模型产生了齐普夫定律,我们的研究进一步表明齐普夫定律可能是语言产生中同质性的结果。
2016-08-05 cs.CL
A Zipf's Law-based Text Generation Approach for Addressing Imbalance in Entity Extraction
School of Information Resource Management, Renmin University of China(中国人民大学信息资源管理学院);College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学信息科学与技术学院)
本文提出基于齐普夫定律的文本生成方法,通过区分常见与稀有实体并生成补充数据,解决实体抽取中的数据不平衡问题,实验验证其有效性。
2023-09-01 cs.CL
A statistical test for correspondence of texts to the Zipf-Mandelbrot law
Novosibirsk State Technical University(新西伯利亚国立技术大学);Novosibirsk State University(新西伯利亚国立大学);Nankai University(南开大学);Sobolev Institute of Mathematics(索博列夫数学研究所)
我们分析了一个简单的概率模型的文本对应。该模型假设单词是从无限字典中独立选择的。其概率分布符合齐普夫-曼德尔布罗特定律。我们对文本中不同的词的个数进行顺序统计,得到不同的词的个数的变化过程。然后,我们估计Zipf-Mandelbrot定律参数使用相同的序列,并构造一个估计的期望的数量不同的话在文本中。然后我们从序列中减去估计的相应值,并沿坐标轴进行归一化,获得从0到1的段上的随机过程。我们证明了这个过程(经验文本桥)在$C (0,1)$上的一致度量下弱收敛到具有连续a.s.的中心高斯过程。路径。我们开发并实现了一种近似计算极限高斯过程协方差函数特征值的算法,然后给出了一种计算该过程平方积分的概率分布的算法。我们使用该算法来分析英语,法语,俄语和汉语的文本的一致性。
2019-12-25 cs.CL math.ST stat.TH
Exploring phrase-compositionality in skip-gram models
在本文中,我们介绍了一个变化的跳跃语法模型,共同学习分布式词向量表示和他们的方式组成,以形成短语嵌入。特别是,我们提出了一个学习过程,采用了一个短语组合功能,可以捕捉我们想要如何组成短语向量,从他们的组成词向量。我们的实验表明,改进的单词和短语的相似性任务,以及句法任务,如依存句法分析使用建议的联合模型。
2016-07-21 cs.CL
Word and Phrase Translation with word2vec
单词和短语表是机器翻译的关键输入,但制作成本很高。新的无监督学习方法在高维向量空间中表示单词和短语,这些单语嵌入已被证明可以编码语言元素之间的句法和语义关系。这些嵌入捕获的信息可以通过学习转换矩阵来用于双语翻译,该转换矩阵允许在两个单语向量空间中匹配相对位置。该方法旨在从未标记的数据中更经济有效地识别高质量的单词和短语翻译候选。本文将以前的双语翻译尝试的范围扩大到四种语言(英语,德语,西班牙语和法语)。它展示了如何处理源数据,训练一个神经网络来学习各个语言的高维嵌入,并扩展了测试英语之外的质量的框架。此外,它还展示了如何学习双语转换矩阵,获得单词和短语翻译的候选项,并评估其质量。
2018-04-24 cs.AI cs.CL
Neural Machine Translation with External Phrase Memory
The University of Hong Kong(香港大学);Noah’s Ark Lab, Huawei Technologies(华为技术诺亚方舟实验室)
在本文中,我们提出了phraseNet,一个神经机器翻译与短语记忆存储短语对符号形式,从语料库中挖掘或由人类专家指定。对于任何给定的源句子,phraseNet扫描短语存储器以确定候选短语对,并相应地将标记信息集成到源句子的表示中。该解码器采用词生成组件和短语生成组件的混合,并采用专门设计的策略一次生成多个词的序列。PhraseNet不仅向将外部知识融入神经机器翻译迈出了一步,而且还努力扩展了递归神经网络的逐词生成机制。我们对汉英翻译的实证研究表明,在记忆中仔细选择短语表,phraseNet比通用神经机器翻译器产生3.45 BLEU的改进。
2016-06-06 cs.CL
Evolution of the most common English words and phrases over the centuries
University of Maribor(马里博尔大学)
通过确定自16世纪初以来最常见的英语单词和短语,我们获得了书面文本演变的独特大规模视图。我们发现,任何一年中最常见的单词和短语在16世纪的流行寿命都比20世纪短得多。通过测量它们的使用在多年来的传播方式,我们表明,在过去的两个世纪里,这一过程一直受到线性偏好依恋的支配。随着英语词汇的稳步增长,这为齐普夫定律在语言统计中的普遍存在提供了一个经验性的解释,并证实了写作,尽管毫无疑问是一种艺术和技能的表达,也不能免受自组织的影响,自组织被称为调节过程的不同,如结交新朋友和万维网的增长。
2012-12-07 cs.CL cs.DL physics.soc-ph
Random Text, Zipf's Law, Critical Length,and Implications for Large Language Models
Aitiologia LLC(Aitiologia公司)
该研究通过简单模型推导出词长、词汇增长和齐夫定律之间的关系,揭示了随机文本中词频分布的结构基础。
2025-11-14 cs.CL stat.ME stat.ML
Translating Phrases in Neural Machine Translation
Soochow University(苏州大学);Tencent AI Lab(腾讯人工智能实验室)
短语在自然语言理解和机器翻译中发挥着重要作用(Sag等人,2002; Villavicencio等人,2005年)。然而,很难将它们集成到当前逐词阅读和生成句子的神经机器翻译(NMT)中。在这项工作中,我们提出了一种方法来翻译NMT中的短语,通过将存储目标短语的短语存储器从基于短语的统计机器翻译(SMT)系统集成到NMT的编码器-解码器架构中。在每个解码步骤中,短语存储器首先由SMT模型重写,SMT模型利用NMT模型提供的上下文信息动态地生成相关目标短语。然后,所提出的模型读取短语记忆中的所有短语的概率估计。如果进行短语生成,则NMT解码器从存储器中选择适当的短语以执行短语翻译,并通过消耗所选短语中的单词来更新其解码状态。否则,NMT解码器如一般NMT解码器那样从词汇表生成单词。实验结果表明,该模型在不同的测试集上都取得了显著的提高。
2017-08-07 cs.CL
Scaling in Words on Twitter
Eötvös Loránd University(厄特沃什·罗兰大学);Senseable City Laboratory, MIT(麻省理工学院感知城市实验室);Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟)
语言的尺度特性是理解语篇生成过程的一个有用工具。我们调查的城市Twitter语料库来自美国的大都市和小都市统计区的缩放关系。我们观察到一个稍微超线性的城市规模与城市人口的推文和文字的总量在一个城市。然后,我们发现,一定的核心词汇遵循的规模关系的散装文本,但大多数的话是敏感的城市规模,表现出超线性或次线性的城市规模。对于这两种制度,我们可以根据词语的含义提供一个合理的解释。我们还表明,Zipf定律和堆定律的参数不同的Twitter上的其他文本,Zipf定律的指数与城市规模的变化。
2019-03-11 cs.CL cs.SI physics.soc-ph
In narrative texts punctuation marks obey the same statistics as words
Institute of Nuclear Physics, Polish Academy of Sciences(波兰科学院核物理研究所);Cracow University of Technology(克拉科夫理工大学)
从语法的角度来看,标点符号在句子中的作用是正式定义和很好理解的。在语义分析中,标点符号作为一种避免意义歧义的方法也起着至关重要的作用。在对语言样本的统计分析中可以观察到一种不同的情况,在这种情况下,关于是否应该考虑标点符号或应该忽略标点符号的决定被认为是武断的,目前它属于研究人员的偏好。这项工作的一个目标是阐明这个问题,为我们提供了一个答案的问题,是否标点符号可以被视为普通的话,他们是否应该包括在任何分析的词co-occupational。我们已经知道从我们以前的研究(S.~ Droplasticidarum { \it et al.},信息科学331(2016)32-44),决定句子长度的句号是长距离相关性的主要载体。现在,我们扩展了这项研究,并分析了几种印欧语言中最常见的标点符号的统计特性,调查了它们的频率,并在Zipf秩频图中相应地定位它们,并研究它们在单词邻接网络中的作用。我们表明,从统计的角度来看,标点符号揭示的性质是定性的最常见的词,如文章,连词,代词和介词的属性相似。这既指齐普菲分析,也指网络分析。通过添加标点符号的Zipf图,我们还表明,这些图通常描述的Zipf-Mandelbrot分布在很大程度上恢复幂律Zipfian行为的最常见的项目。
2016-09-27 cs.CL physics.data-an
ClaC: Semantic Relatedness of Words and Phrases
Concordia University(康考迪亚大学)
短语语义相关度的度量是自然语言处理应用中的一个重要度量。在本文中,我们提出了三种方法来衡量短语语义,一个基于语义网络模型,另一个分布相似性模型,以及两者之间的混合。我们的混合方法实现了77.4%的F-措施的任务,评估单词和组成短语的语义相似性。
2017-08-19 cs.CL
On Extending NLP Techniques from the Categorical to the Latent Space: KL Divergence, Zipf's Law, and Similarity Search
Zoomi, Inc(Zoomi公司);College of William & Mary(威廉与玛丽学院);Peking University(北京大学);Purdue University(普渡大学)
尽管深度学习最近在自然语言处理(NLP)中取得了成功,但仍然存在对不依赖于机器学习的技术的广泛使用和需求。这些技术的优点是它们的可解释性和低成本相比,经常不透明和昂贵的机器学习模型。虽然它们可能不是在所有情况下都具有同样的性能,但它们通常足以解决常见和相对简单的问题。在本文中,我们的目标是现代化这些旧的方法,同时保留其优势,从分类或袋的话表示的潜在空间中的词嵌入表示的方法。首先,我们表明,熵和Kullback-Leibler分歧可以有效地估计使用词嵌入,并使用这种估计比较文本在几个类别。接下来,我们将在分类空间中经常观察到的重尾分布(称为齐普夫定律)重新转换到潜在空间。最后,我们希望通过引入一种新的方法来识别相似的句子,基于集合覆盖问题,以提高Jaccard相似性度量的句子建议。我们比较了该算法的性能对几个基线,包括字移动器的距离和Levenshtein距离。
2020-12-02 cs.CL cs.LG
Human Associations Help to Detect Conventionalized Multiword Expressions
Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学)
在本文中,我们表明,如果我们想获得一些短语的约定化的人类证据,我们应该问母语的协会,他们有一个给定的短语和它的组成词。我们已经证明,如果一个短语的组成词之间有频繁的关联,那么这个短语可以被认为是规约化的。另一种类型的常规短语可以使用两个因素来揭示:短语关联的低熵和组成词和短语关联的低交集。关联实验是针对俄语进行的。
2017-09-12 cs.CL
Beyond Word-based Language Model in Statistical Machine Translation
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Microsoft Research Asia(微软亚洲研究院)
语言模型是统计机器翻译中最重要的模块之一,目前基于词的语言模型占据主导地位。然而,许多翻译模型(例如,基于短语的模型)通过渲染和合成短语而不是单词来生成目标语言句子。因此,对短语之间的依赖关系进行建模更为合理,但很少有研究成功地解决了这个问题。本文通过设计一种新的基于短语的语言模型来解决这一问题,该模型试图解决三个关键子问题:1,如何在语言模型中定义短语; 2,如何在大规模单语数据中确定短语边界以扩大训练集; 3,如何缓解由于短语词汇量巨大而导致的数据稀疏问题。通过仔细处理这些问题,大量的汉英翻译实验表明,我们的基于短语的语言模型可以显着提高翻译质量高达+1.47绝对BLEU得分。
2015-02-05 cs.CL
Equilibrium (Zipf) and Dynamic (Grasseberg-Procaccia) method based analyses of human texts. A comparison of natural (english) and artificial (esperanto) languages
GRAPES(GRAPES研究组);U. Liege(列日大学)
本文通过对刘易斯·卡罗尔的两篇英文作品《爱丽丝梦游仙境》(Alice in wonderland)和《透过镜子》(Through a looking glass)的比较,来观察自然语言和人工语言之间是否存在显著差异。像信号这样的一维时间序列仅使用字频率(FTS)或字长度(LTS)来构造。通过(i)Zipf方法来研究数据,用于整理FTS中的相关性,以及(ii)基于Grassberger-Procaccia(GP)技术的方法来寻找LTS中的相关性。特点比较:观察到不同的幂律,其具有用于排序性质的特征指数和{ \it相空间吸引子维数}。Zipf指数可以取远小于1的值($ca.$ 0.50或0.30),这取决于句子的定义方式。这种非普遍性被证明是对作者$style$的一种衡量。此外,吸引子维数$r$是所谓的相空间维数$n$的简单函数,即,$r = n^λ$和$λ= 0.79$。这样一个指数也应该推测是作者$creativity$的一个度量。然而,尽管英文原文和世界语译文在数量上存在差异,但在质量上的差异是非常微小的,这表明在这种情况下,翻译相对较好地尊重了作者的写作内容。
2008-02-28 cs.CL physics.data-an physics.soc-ph
Span-Aggregatable, Contextualized Word Embeddings for Effective Phrase Mining
Genesys(晶讯科技)
针对含噪上下文下单向量句子表示短语检索效果差、多跨度表示计算成本高的问题,提出可聚合的上下文感知词嵌入方法,通过改进对比损失实现,在自建数据集上以低计算量提升了短语挖掘效果。
2024-05-12 cs.CL
Sentiment Composition of Words with Opposing Polarities
National Research Council Canada(加拿大国家研究委员会)
在本文中,我们探讨了至少有一个积极的和至少有一个消极的词的短语的情感成分-像“快乐的意外”和“最好的寒假”的短语。我们编制了一个这样的相反极性短语的数据集,并手动注释它们与情感关联的实值分数。使用这个数据集,我们分析了存在于相反极性短语中的语言模式。最后,我们应用了几种无监督和有监督的情感合成技术来确定它们在该数据集上的有效性。我们最好的系统,它结合了从短语的成分,他们的词性,他们的情感关联分数,和他们的嵌入向量的信息,获得了超过80%的准确性对相反的极性短语。
2018-05-11 cs.CL
Distributed Representations of Words and Phrases and their Compositionality
Google Inc.(谷歌公司)
最近引入的连续Skip-gram模型是一种有效的方法,用于学习高质量的分布式向量表示,捕获大量精确的语法和语义词的关系。在本文中,我们提出了几个扩展,提高了向量的质量和训练速度。通过对频繁单词进行子采样,我们获得了显着的加速,并且还学习了更多的规则单词表示。我们还描述了一个简单的替代分层softmax称为负采样。词表示的一个固有局限性是它们对词序的漠不关心,以及它们不能表示惯用短语。例如,“Canada”和“Air”的含义不能轻易组合成“Air Canada”。受这个例子的启发,我们提出了一种在文本中查找短语的简单方法,并表明学习数百万短语的良好矢量表示是可能的。
2013-10-16 cs.CL cs.LG stat.ML
Principal Phrase Mining
Drew University(德鲁大学);Rutgers University(罗格斯大学)
从文本集合中提取频繁词在许多学科中是常见的。然而,尽管从文本中获得常见单词的集合是有用的,但是需要以最常见短语的形式从文本中获得更具体的信息。尽管有这种需求,但由于固有的复杂性,提取频繁短语并不常见,最重要的是重复计算。当单词或短语出现在更长的短语中时,会发生双重计数,而这些短语本身也会被计数,从而导致选择大多数无意义的短语,这些短语之所以频繁出现,只是因为它们出现在频繁的超级短语中。已经有几篇关于短语挖掘的论文描述了这个问题的解决方案;然而,它们要么需要一个所谓的质量短语列表可用于提取过程,要么需要人工交互来识别过程中的质量短语。我们在这里提出了一种方法,通过一个独特的整流过程,不需要高质量的短语列表,消除重复计算。在一组文本的上下文中,我们将主短语定义为不交叉标点符号、不以停用词开始(除了停用词“not”和“no”之外)、不以停用词结束、在这些文本中频繁出现而不被重复计数并且对用户有意义的短语。我们的方法可以在没有人工输入的情况下独立识别这些主要短语,并在合理的时间内从任何文本中提取它们。
2022-10-31 cs.CL stat.AP
Euphemistic Phrase Detection by Masked Language Model
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
众所周知,边缘团体和组织使用委婉语(听起来普通、看起来无辜、具有秘密含义的词语)来隐藏他们正在讨论的内容。例如,毒品贩子经常用“锅”来表示大麻,用“鳄梨”来表示海洛因。从社交媒体内容审核的角度来看,尽管NLP的最新进展已经能够自动检测这种单字委婉语,但现有的工作还不能自动检测多词委婉语,例如“蓝色梦想”(大麻)和“黑色焦油”(海洛因)。我们的论文处理的问题,委婉语短语检测,而无需人工努力的第一次,据我们所知。我们首先在原始文本语料库上执行短语挖掘(例如,社交媒体帖子)来提取高质量的短语。然后,我们利用词嵌入相似性来选择一组委婉短语候选。最后,我们用一个屏蔽的语言模型-- SpanBERT对这些候选者进行排序。与强基线相比,我们报告使用我们的算法检测委婉短语的检测准确率高出20-50%。
2021-09-10 cs.CL
Why and How to Pay Different Attention to Phrase Alignments of Different Intensities
Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学)
本文比较研究了两种典型的句对分类任务:文本蕴涵(TE)和答案选择(AS),观察到不同强度的短语对齐在这两种任务中的贡献不同。我们解决的问题,确定短语对齐灵活的粒度和池对齐这些任务的不同强度。灵活粒度的示例是两个单个单词之间、单个单词与短语之间以及短短语与长短语之间的对齐。强度大致是指匹配程度,它的范围从同一性到表面形式的同现、改写和其他语义相关性,再到许多插入语文本中的无关词。先前的工作(i)在短语生成和表示方面具有限制,或者(ii)通过手工特征在单词和短语级别进行对齐,或者(iii)在对齐强度上利用单个注意力机制而不考虑特定任务的特征,这限制了系统在任务之间的有效性。我们提出了一种基于门控递归单元的体系结构,该体系结构支持(i)任意粒度的短语的表示学习和(ii)通过注意力池对两个句子之间的短语对齐进行特定任务的聚焦。TE和AS上的实验结果与我们的观察相匹配,并且是最先进的。
2016-06-13 cs.CL
Extending Multi-Sense Word Embedding to Phrases and Sentences for Unsupervised Semantic Applications
CICS, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
大多数无监督NLP模型用语义空间中的单个点或单个区域表示每个词,而现有的多意义词嵌入不能表示更长的词序列,如短语或句子。我们提出了一种新的嵌入方法的文本序列(短语或句子),其中每个序列是由一组不同的多模式码本嵌入,以捕捉其含义的不同语义方面。码本嵌入可以被视为聚类中心,其总结了在预训练的词嵌入空间中可能共现的词的分布。我们引入了一个端到端的可训练神经模型,该模型在测试期间直接从输入文本序列预测聚类中心集。我们的实验表明,每句码本嵌入显着提高性能,在无监督的句子相似度和提取摘要基准。在短语相似性实验中,我们发现,多方面的嵌入提供了一个可解释的语义表示,但不优于单方面的基线。
2021-12-29 cs.CL cs.LG
Phrase Based Language Model for Statistical Machine Translation: Empirical Study
重排序是机器翻译系统面临的一个挑战。在机器翻译中,广泛使用的方法是应用基于词的语言模型(LM),它将句子的组成单位视为词。在语音识别(SR)中,已经提出了一些基于短语的LM。然而,这些LM不一定适合于重新排序或对于重新排序是最佳的。我们提出了两个短语为基础的LM认为一个句子的组成单位作为短语。实验表明,我们的短语为基础的LM优于基于词的LM方面的困惑和n-best列表重新排名。
2015-02-18 cs.CL
The empirical structure of word frequency distributions
Eberhard Karls Universität Tübingen(蒂宾根大学)
各个单词在不同语言中出现的频率遵循幂律分布,这一发现模式被称为齐普夫定律。大量的文献争论这是否有助于优化人类通信的效率,然而这种说法必然是事后的,并且有人认为齐普夫定律实际上可能描述了其他分布的混合物。从这个角度来看,最近的发现,Sinosphere的第一个(家庭)名字是几何分布是值得注意的,因为这实际上是一致的信息理论预测最佳编码。在大多数语言中,第一个名字形成自然的交际分布,我表明,当分析有关的社区中,他们被使用,在一个不同的语言集的第一个名字分布都是几何和历史上,非常相似,与幂律分布只有出现时,经验分布汇总。然后,我展示了这种模式的研究结果复制在英语名词和动词的交际分布。这些结果表明,如果词汇分布支持有效的沟通,他们这样做,因为他们的功能结构直接满足信息论所描述的约束,而不是因为齐普夫定律。理解这些信息结构的功能可能是解释人类非凡的交际能力的关键。
2020-01-09 cs.CL
Explaining Zipf's Law via Mental Lexicon
ISMANS(ISMANS高等机械学院);Université du Maine(曼恩大学);Yerevan Physics Institute(埃里温物理研究所);Hua-Zhong Normal University(华中师范大学)
齐普夫定律是统计语言学的主要规律,是自然科学中秩-频关系和标度定律的原型。在这里,我们表明,齐普夫定律-连同它的适用性为一个单一的文本和它的概括,以高和低的频率,包括hapax legomena -可以来自假设的话被抽到文本中的随机概率。通过贝叶斯统计,它们的先验密度与产生文本的作者的心理词汇的一般特征有关。
2013-02-18 cond-mat.stat-mech cs.CL physics.data-an
Beyond the Zipf-Mandelbrot law in quantitative linguistics
本文在语言学的背景下重新审视齐夫-曼德尔布罗特定律。尽管其广泛的普及Zipf--Mandelbrot定律只能描述统计行为的一个相当有限的一小部分的总人数的话,在一些特定的语料库。特别是,我们把我们的注意力集中在重要的偏差,成为统计相关的大型语料库被认为是最终可以被理解为语言生成的基本复杂过程的显着特征。最后,它表明,所有不同的观察制度,可以准确地包含在一个单一的数学框架最近介绍的C。察利斯
2001-07-09 cond-mat.stat-mech cs.CL nlin.AO
No Word is an Island -- A Transformation Weighting Model for Semantic Composition
University of Tübingen(蒂宾根大学)
分布式语义的组合模型被用来从他们的词的表示构造短语表示。组成模型通常位于光谱的两端。它们要么有少量的参数,但以相同的方式组合所有短语,要么以大量参数为代价执行特定于单词的组合。在本文中,我们提出了转换加权(TransWeight),一个组成模型,始终优于现有的模型上的名词性化合物,形容词-名词短语和副词-形容词短语在英语,德语和荷兰语。与文献中的最佳模型相比,TransWeight通过以相同的方式组成相似的单词,大大减少了所需的参数数量。
2019-07-11 cs.CL
Corrections of Zipf's and Heaps' Laws Derived from Hapax Rate Models
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文基于单频词比例模型修正齐普夫与希普斯定律,提出四种单频词率函数,经实验发现逻辑模型对14篇英文文本拟合最优,并探讨了混合模型的相关问题。
2026-08-20 cs.CL stat.AP
Using Additional Indexes for Fast Full-Text Search of Phrases That Contain Frequently Used Words
Ural Federal University(乌拉尔联邦大学)
考虑了通过附加索引对大文本数组中的短语和词集进行排序。与标准倒排文件相比,它们的使用可以减少查询处理时间。
2018-11-25 cs.CL cs.IR
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute(伊迪亚普研究所)
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型,有效地学习蕴涵的词嵌入,使用最近提出的框架,在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据,他们对这个短语向量的贡献,或作为一个单词短语向量的后验分布,并发现后验向量表现更好。在无监督和半监督实验中,所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Ontology-Aware Token Embeddings for Prepositional Phrase Attachment
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);DeepMind
类型级词嵌入使用相同的参数集来表示词的所有实例,而不管其上下文如何,忽略了语言中固有的词汇歧义。相反,我们嵌入WordNet中定义的语义概念(或同义词集),并通过估计相关语义概念的分布来表示特定上下文中的单词标记。我们在一个模型中使用新的上下文敏感的嵌入来预测介词短语(PP)附件,并共同学习概念嵌入和模型参数。我们发现,使用上下文敏感的嵌入提高了5.4%的绝对点的PP附件模型的准确性,这相当于一个34.4%的相对减少错误。
2017-05-08 cs.CL
Phrase Table as Recommendation Memory for Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Beijing Advanced Innovation Center for Language Resources(北京语言资源高精尖创新中心);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
神经机器翻译(NMT)由于其良好的翻译性能而受到广泛关注。然而,一些研究表明,NMT往往产生流畅,但不忠实的翻译。在本文中,我们提出了一种方法来缓解这个问题,使用短语表作为推荐记忆。其主要思想是为值得推荐的单词添加奖金,以便NMT能够做出正确的预测。具体地说,我们首先根据源句子搜索短语翻译表,得到一个前缀树来容纳所有候选目标短语。然后,我们通过NMT将候选目标短语与先前翻译的目标词进行匹配来构建推荐词集。之后,我们通过使用注意向量和短语翻译概率来确定每个可重复单词的具体奖励值。最后,我们将此奖金值集成到NMT中,以改善翻译结果。大量的实验表明,所提出的方法得到显着的改善,基于强注意力的NMT。
2018-05-25 cs.CL
Supervised Phrase-boundary Embeddings
Department of Computer Science and Information Systems, Birkbeck, University of London(伦敦大学伯贝克学院计算机科学与信息系统系)
我们提出了一个新的词嵌入模型,称为SPhrase,它结合了监督短语信息。我们的方法通过确保短语中的所有目标词具有完全相同的上下文来修改传统的词嵌入。我们证明,包括这些信息在一个上下文窗口产生优越的嵌入为内在的评价任务和下游的外在任务。
2020-02-15 cs.CL cs.IR cs.LG
Learning to Explain Non-Standard English Words and Phrases
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
我们描述了一种数据驱动的方法,用于在给定的句子中自动解释新的非标准英语表达,该方法建立在一个大型数据集上,该数据集包括来自UrbanDictionary.com的15年众包示例。与之前的研究不同,我们研究了学习神经序列到序列模型的可能性,该模型可以在给定上下文的情况下生成对看不见的非标准英语表达的解释。我们提出了一个双编码器的方法-一个字级编码器学习上下文的表示,第二个字符级编码器学习目标非标准表达式的隐藏表示。我们的模型可以产生合理的定义,新的非标准英语表达的上下文与一定的信心。
2017-09-26 cs.CL
phi-LSTM: A Phrase-based Hierarchical LSTM Model for Image Captioning
University of Malaya(马来亚大学)
一张图片胜过千言万语。然而,直到最近,我们才注意到在理解视觉场景方面的一些成功案例:一个能够检测/命名对象,描述其属性并识别其关系/交互的模型。在本文中,我们提出了一个基于短语的分层长短期记忆(phi-LSTM)模型来生成图像描述。所提出的模型将句子编码为短语和单词的组合序列,而不是像传统解决方案中那样单独的单词序列。该模型的两个层次致力于i)学习生成图像相关名词短语,以及ii)从语料库中的短语和其他单词中产生适当的图像描述。采用卷积神经网络来学习图像特征,采用LSTM来学习句子中的单词序列,与Flickr 8 k和Flickr 30 k数据集上的最先进模型相比,该模型显示出更好或具有竞争力的结果。
2017-10-26 cs.CL cs.CV