俄语文学语篇中词频的变化

Automated Word Stress Detection in Russian

In this study we address the problem of automated word stress detection in Russian using character level models and no part-speech-taggers. We use a simple bidirectional RNN with LSTM nodes and achieve the accuracy of 90% or higher. We experiment with two training datasets and show that using the data from an annotated corpus is much more efficient than using a dictionary, since it allows us to take into account word frequencies and the morphological context of the word.

斯拉夫语言的数据分类：应用于字素频率的定性变化指数

A data-based classification of Slavic languages: Indices of qualitative variation applied to grapheme frequencies

奥德图是一种简单的图形方法，用于在二维平面上显示数据或理论分布的频率分布。它的坐标是前三个力矩的比例，无论是经验的还是理论的。本文提出了一种基于质量变化指数比例的Ord图的修正。这样的修改使得该图也适用于分类特征的数据。此外，索引使用0和1之间的值进行规范化，这使得能够比较划分为不同类别数量的数据文件。原始图形和新图形都用于显示11种斯拉夫语言的字形频率。由于原始的Ord图需要将数字分配给类别，字素根据其频率递减排序。数据取自平行语料库，即，我们研究了一本俄罗斯小说的字形频率，以及它被翻译成其他十种斯拉夫语言的情况。然后，聚类分析应用于图形坐标。虽然原始图产生的结果在语言上是不可解释的，但修改后的结果揭示了语言之间有意义的关系。

词频的齐普夫定律：长文本中的词形与词元

Zipf's law for word frequencies: word forms versus lemmas in long texts

齐普夫定律是自然语言书面和口头统计以及其他通信系统中的基本范式。我们提出的问题的基本单位，其中齐普夫的法律应持有在最自然的方式，研究其有效性，为平原字的形式和相应的引理形式。为了拥有尽可能同质的来源，我们分析了一些有史以来最长的文学文本，这些文本包括四种不同的语言，具有不同程度的形态复杂性。在所有情况下，齐普夫定律都得到了满足，在这个意义上，词或词元频率的幂律分布在几个数量级上都是有效的。我们调查的程度字引理变换保留两个参数的齐普夫定律：指数和低频截止。我们不能证明一个严格的不变性的尾巴，为少数文本的两个指数偏离显着，但我们的结论是，指数是非常相似的，尽管显着的转变，从词到词元表示，大大影响了所有范围的频率。相比之下，低频截止不太稳定。

非标准词作为文本分类的特征

Non-Standard Words as Features for Text Categorization

本文提出了克罗地亚语文本分类使用非标准词（NSW）的功能。非标准词有：数字、日期、首字母缩略词、缩写、货币等。克罗地亚语的新南威尔士州根据克罗地亚新南威尔士州分类法确定。本研究共收集了390篇文本文献，并将其分为官方文献、文学文献、信息文献、大众文献、教育文献和科学文献六类。在SKIPEZ文本集的三种不同表示形式上进行了文本分类实验：第一种表示形式以非结构特征的出现频率为特征，第二种表示形式以非结构特征的统计量（方差、变异系数、标准差等）为特征，第三种表示形式以非结构特征的出现频率为特征，第四种表示形式以非结构特征的出现频率为特征，第五种表示形式以非结构特征的统计量为特征。被用作特征;而第三表示组合了前两个特征集。实验中使用了朴素贝叶斯、CN 2、C4. 5、kNN、分类树和随机森林算法进行文本分类。使用第一个特征集（NSW频率）取得了最好的分类结果，分类准确率为87%。这表明，NSW应被视为高度屈折语言（如克罗地亚语）的特征。新南威尔士州为基础的功能降低了特征空间的维数，没有标准的词形还原程序，因此袋的新南威尔士州应考虑进一步的克罗地亚文本分类实验。