在[arXiv:1404.1461]中,Yan和Minnnesian认为[New J. Phys. 15 093033,arXiv:1303.0705]中提出的词频分布的文本长度依赖性的标度律是“根本不正确的”和“根本不可能的”。在本说明中,我们认为这种说法显然是不合理的,标度定律对于绝对频率大于10的情况显然是有效的。此外,我们还证明了Yan和Minnnnel [arXiv:1404.1461]提供的反例非常准确地满足了我们的标度假设,与Yan和Minnel的批评不一致,并支持我们的方法。
英文摘要:
In [arXiv:1404.1461], Yan and Minnhagen argue that the scaling law for the text-length dependence of word-frequency distributions proposed in [New J. Phys. 15 093033, arXiv:1303.0705] is "fundamentally incorrect" and "fundamentally impossible". In this note, we reason that such claims are clearly unjustified, with the scaling law being clearly valid for absolute frequencies greater than about 10. Further, we show that the very counter-example provided by Yan and Minnhagen [arXiv:1404.1461] fulfils our scaling hypothesis with excellent accuracy, at odds with Yan and Minnhagen's criticisms, and supporting our approach.
The dynamics of discovery and the Heaps-Zipf relationship
CNRS, UMR Géographie-cités & LabCom MIXTAPES(法国国家科学研究中心,地理城市联合研究单位及MIXTAPES实验室合作委员会);Deezer research & LabCom MIXTAPES(Deezer 研究部门及MIXTAPES实验室合作委员会);Université Paris-Saclay, CNRS, CEA, Institut de Physique Théorique(巴黎萨克雷大学,法国国家科学研究中心,法国原子能和替代能源委员会,理论物理研究所);Centre d’Analyse et de Mathématique Sociales (CNRS/EHESS)(社会分析与数学中心(法国国家科学研究中心/高等社会科学学院))
Universalities in the Avalanche Dynamics of Novelties and Non-Novelties and some Notes on the Heaps law
CREF - Centro Ricerche Enrico Fermi(恩里科·费米研究中心);Sapienza University of Rome(罗马大学);CNR - Institute of Complex Systems(复杂系统研究所);Complexity Science Hub Vienna(维也纳复杂性科学中心)
Beyond Zipf's law: Modeling the structure of human language
IFISC (CSIC-UIB) Instituto de Física Interdisciplinar y Sistemas Complejos(IFISC(西班牙国家研究委员会-巴利阿里群岛大学)跨学科物理与复杂系统研究所);Indiana University(印第安纳大学);ISI Foundation(ISI基金会)
Eötvös Loránd University(厄特沃什·罗兰大学);Senseable City Laboratory, MIT(麻省理工学院感知城市实验室);Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟)
Dependence of exponents on text length versus finite-size scaling for word-frequency distributions
一些作者最近认为,一个有限尺寸标度法律的文本长度依赖的词频分布不能在概念上有效。在这里,我们给出了坚实的定量证据的有效性,这样的标度律,无论是使用仔细的统计测试和分析参数的基础上的广义中心极限定理适用于分布的时刻(并获得一个新的推导堆'法律作为副产品)。我们还发现,具有幂律指数的词频分布随文本长度而减小的图片[Yan and Minnesty,Physica A 444,828(2016)]不符合严格的统计分析。相反,我们表明,该分布是完美的幂律尾部与稳定的指数,其值接近2,与经典的齐普夫定律。还澄清了一些关于缩放的误解。