Word frequency-rank relationship in tagged texts

标记语篇中的堆定律和堆函数：语言相关性的证据

Heaps' law and Heaps functions in tagged texts: Evidences of their linguistic relevance

我们研究了词汇量和文本长度之间的关系，在一个语料库的$75$文学作品，由六个作家，区分三个语法类（或"标签“，即，{ \it名词}，{ \it动词}，和{ \it其他}）的贡献，并分析每个标签的新词沿着每个单独的文本的渐进出现。虽然希普斯定律所规定的幂律关系是令人满意的总词汇量和文本长度，在每个文本中的新词的出现是在整体上很好地描述了平均随机洗牌的文本，它不服从幂律。然而，偏离这一平均值在统计上是显著的，并显示出整个语料库的系统趋势。具体来说，他们发现，沿每个文本的新词的出现主要是相对于随机洗牌的平均延迟。此外，不同的标签被证明增加系统的不同贡献，这种趋势，与{ \it动词}和{ \it其他}分别是更多和更少的平均趋势，而{ \it名词}，而不是这个整体的平均值。这些统计系统性很可能表明存在存储在希普斯定律不同变体中的语言相关信息，这一特征仍需要广泛评估。

使用Robust PCA从地理标记的Twitter消息中估计语言使用的区域特征

Using Robust PCA to estimate regional characteristics of language use from geo-tagged Twitter messages

主成分分析（PCA）及其相关技术已成功地应用于自然语言处理中。在线社交媒体（OSM）时代的文本挖掘应用程序面临着新的挑战，这是由于这些用例特有的属性（例如，用户发布的文本特有的拼写问题，垃圾邮件发送者和机器人的存在，服务公告等）。在本文中，我们采用了鲁棒PCA技术分离典型的离群值和高度本地化的主题，从低维结构中存在的语言使用在线社交网络。我们的重点是确定地理空间的Twitter微博服务的用户发布的消息中的功能。使用一个数据集，其中包括超过2亿的地理定位的推文收集了一年的过程中，我们调查是否存在的信息在词的使用频率可以用来识别语言使用的区域特征和感兴趣的话题。使用PCA追踪方法，我们能够识别重要的低维特征，这些特征构成了地理位置的平滑变化函数。

基于语境的印地语词汇语义分析

Context based Analysis of Lexical Semantics for Hindi Language

一个词在一个文本中有多个意义引入词汇语义任务，以找出哪个特定的意义是适当的给定的上下文。词义消歧就是这样一个任务，它是指使用计算算法在给定的上下文中识别多义词的最合适的含义。标准语料库的缺乏制约了对印度官方语言印地语和其他印度语言的语言处理研究。对于印地语词义消歧也是如此，大型语料库不可用。在这项工作中，我们准备的文本包含新的意义，导致丰富的意义标记的印地语语料库的60个多义词的某些单词。此外，我们分析了两个新的词汇联想印地语词义消歧的基础上的上下文特征的多义词。通过对学习算法的评价，取得了较好的效果。

利用上下义关系提高神经词义消歧的覆盖率和泛化能力

Improving the Coverage and the Generalization Ability of Neural Word Sense Disambiguation through Hypernymy and Hyponymy Relationships

在词义消歧（WSD）中，主要的方法通常涉及在词义标注语料库上训练的监督系统。然而，这种语料库的数量有限，限制了这些系统的覆盖范围和性能。在这篇文章中，我们提出了一种新的方法，解决了这些问题，利用WordNet中存在的知识，特别是同义词之间的上位和下位关系，以减少不同的意义标签的数量是必要的消除歧义的词汇数据库中的所有单词。我们的方法在大多数WSD评估任务上都得到了最先进的结果，同时提高了监督系统的覆盖率，减少了训练时间和模型的大小，而无需额外的训练数据。此外，当我们的方法与集成技术相结合并添加WordNet Gloss Tagged作为训练语料库时，我们展示了显着优于最先进技术的结果。

融合位置和文本特征进行情感分类

Fusing location and text features for sentiment classification

地理标记的Twitter数据最近被用来推断社交媒体人性化方面的见解。在最近的研究中，人们已经从带有地理标签的twitter数据中挖掘出了与人口统计、文化活动的空间分布、人类的时空旅行轨迹以及幸福感相关的见解。到目前为止，还没有太多的研究已经做了一个推文的地理定位功能对其情绪的影响。这一观察启发了我们提出使用地理位置特征作为执行情感分类的方法。在该方法中，通过将地理位置特征和独热编码词向量连接起来作为卷积神经网络（CNN）和长短期记忆（LSTM）网络的输入来执行地理标记推文的情感分类。以地理位置特征的形式添加与语言无关的特征有助于丰富推文表示，以对抗短推文消息的稀疏性。所取得的结果表明，与单独使用词向量进行情感分类相比，将地理位置特征连接到独热编码词向量可以实现更高的准确性。

语言的等级多样性：计算语言学中的类属行为

Rank diversity of languages: Generic behavior in computational linguistics

语言的统计研究主要集中在词的等级频率分布上。相反，我们在这里引入一个衡量单词等级如何随时间变化的方法，并将此分布称为\emph{rank diversity}。我们计算了自1800年以来以六种欧洲语言出版的书籍的多样性，发现它遵循普遍的对数正态分布。基于对数正态分布的平均值和标准差，我们定义了三种不同的语言词的制度：“头”由几乎不改变他们的排名在时间上的话，“机构”是一般使用的话，而“尾巴”是由特定的上下文的话，并改变他们的排名相当大的时间。头部和身体反映了语言学家为基本交流所确定的语言核心的大小。我们提出了一个高斯随机游走模型，它再现了单词在时间上的排名变化，从而多样性。单词的等级多样性可以理解为等级随机变化的结果，其中变化的大小取决于等级本身。我们发现，核心大小是相似的所有语言研究。

一种基于排序的词嵌入相似性度量

A Rank-Based Similarity Metric for Word Embeddings

词嵌入最近已经成为NLP中表示词义的标准。词对之间的语义相似度已经成为这些表示的最常见的评估基准，向量余弦通常被用作唯一的相似度度量。在本文中，我们报告的实验与排名为基础的度量的WE，它执行的相似性估计和超越它在最近推出的离群点检测和具有挑战性的任务，从而表明，基于排名的措施可以提高聚类质量的向量余弦。

A Two Parameters Equation for Word Rank-Frequency Relation

Let $f (\cdot)$ be the absolute frequency of words and $r$ be the rank of words in decreasing order of frequency, then the following function can fit the rank-frequency relation \[ f (r;s,t) = \left(\frac{r_{\tt max}}{r}\right)^{1-s} \left(\frac{r_{\tt max}+t \cdot r_{\tt exp}}{r+t \cdot r_{\tt exp}}\right)^{1+(1+t)s} \] where $r_{\tt max}$ and $r_{\tt exp}$ are the maximum and the expectation of the rank, respectively; $s>0$ and $t>0$ are parameters estimated from data. On well-behaved data, there should be $s<1$ and $s \cdot t < 1$.

基于PMI的词嵌入中矩阵的低秩近似

Low-Rank Approximation of Matrices for PMI-based Word Embeddings

我们进行了实证评估的几种方法的低秩近似的问题，获得基于PMI的词嵌入。所有的词向量都是在从英文维基百科（enwik9）中提取的大型语料库的一部分上训练的，该语料库被分成两个大小相等的数据集，从中获得PMI矩阵。使用重复测量设计将低秩近似（SVD、NMF、QR）方法和向量维数（250、500）分配给每个PMI矩阵重复样本。实验结果表明，与其他两种低秩近似方法相比，截断SVD方法得到的词向量在相似性和类比性两个下游任务上的性能最好。

非Zipf分布的停用词及子集选择模型

Non-Zipfian Distribution of Stopwords or Function Words and Subset Selection Models

该研究提出了一种基于Hill函数的停用词选择模型，通过分析停用词和非停用词的排名-频率分布，揭示了其在Zipf定律下的分布特性。

利用知识图谱的非对称低秩投影学习更好的词嵌入

Learning Better Word Embedding by Asymmetric Low-Rank Projection of Knowledge Graph

词嵌入是指自然词的低维密集向量表示，它在许多自然语言处理任务中表现出了强大的功能。然而，自由文本语料库中作为训练数据的信息不准确和不完整可能会使其受到影响。为了应对这一挑战，已经有相当多的作品利用知识图谱作为额外的信息源来提高词嵌入的质量。虽然这些工作取得了一定的成功，但他们忽略了一些关于知识图谱的重要事实：（i）知识图谱中的许多关系是\emph{many-to-one}，\emph{one-to-many}甚至\emph{many-to-many}，而不是简单的\emph{one-to-one} ;（ii）知识图谱中的大多数头实体和尾实体来自非常不同的语义空间。为了解决这些问题，在本文中，我们提出了一个新的算法名为ProjectNet。ProjecNet在使用不同的低秩投影矩阵进行转换后，对头部和尾部实体之间的关系进行建模。低秩投影可以允许实体之间的非\emph{one-to-one}关系，而头部和尾部实体的不同投影矩阵允许它们起源于不同的语义空间。实验结果表明，ProjectNet的词嵌入比以前的工作更准确，从而导致各种自然语言处理任务的明显改善。

Words ranking and Hirsch index for identifying the core of the hapaxes in political texts

This paper deals with a quantitative analysis of the content of official political speeches. We study a set of about one thousand talks pronounced by the US Presidents, ranging from Washington to Trump. In particular, we search for the relevance of the rare words, i.e. those said only once in each speech -- the so-called hapaxes. We implement a rank-size procedure of Zipf-Mandelbrot type for discussing the hapaxes' frequencies regularity over the overall set of speeches. Starting from the obtained rank-size law, we define and detect the core of the hapaxes set by means of a procedure based on …

基于降秩岭回归的跨语言文档嵌入

Crosslingual Document Embedding as Reduced-Rank Ridge Regression

最近，人们对将基于向量的单词表示扩展到多种语言非常感兴趣，这样单词就可以跨语言进行比较。在本文中，我们将重点从单词转移到文档，并介绍了一种方法，用于将以任何语言编写的文档嵌入到一个独立于语言的向量空间中。对于训练，我们的方法利用多语言语料库，其中相同的概念以多种语言（但不一定通过精确的翻译）覆盖，例如维基百科。我们的方法Cr5（跨语言降秩岭回归）首先训练一个基于岭回归的分类器，该分类器使用特定于语言的词袋特征来预测给定文档的概念。我们表明，当约束学习的权重矩阵是低秩的，它可以被分解，以获得所需的映射从语言特定的词袋语言无关的嵌入。与大多数先前的方法相反，这些方法使用预先训练的单语词向量，对它们进行后处理以使它们跨语言，最后对词向量进行平均以获得文档向量，Cr5是端到端训练的，因此是原生的跨语言和文档级。此外，由于我们的算法使用奇异值分解作为其核心操作，它是高度可扩展的。实验表明，我们的方法实现了国家的最先进的跨语言文档检索任务的性能。最后，虽然没有经过嵌入句子和单词的训练，但它在跨语言句子和单词检索任务上也取得了有竞争力的表现。

用低秩子空间表示句子

Representing Sentences as Low-Rank Subspaces

句子是自然语言的重要语义单位。一个通用的，分布式表示的句子，可以捕捉潜在的语义是有益的多个下游应用程序。我们观察到一个简单的句子几何--给定句子的单词表示（在所有SemEval数据集中平均10.23个单词，标准差为4.84）大致位于低秩子空间（大致为4）。基于这种观察，我们用词向量所构成的低秩子空间来表示句子。这种无监督的表示通过19个不同数据集上的语义文本相似性任务进行了经验验证，平均比复杂的神经网络模型（包括跳过思维向量）高出15%。

A Statistical Model of Word Rank Evolution

The availability of large linguistic data sets enables data-driven approaches to study linguistic change. The Google Books corpus unigram frequency data set is used to investigate the word rank dynamics in eight languages. We observed the rank changes of the unigrams from 1900 to 2008 and compared it to a Wright-Fisher inspired model that we developed for our analysis. The model simulates a neutral evolutionary process with the restriction of having no disappearing and added words. This work explains the mathematical framework of the model - written as a Markov Chain with multinomial transitio…

词义语法：词义标注比词性标注更重要吗？

The Grammar of Sense: Is word-sense tagging much more than part-of-speech tagging?

这篇文章声称，大规模文本自动意义标记（LAST）可以在高精度水平上完成，其复杂性和计算工作量远远低于迄今为止所认为的。此外，它可以对所有开放类词进行，而不仅仅是像最近的一些工作中那样仔细选择对立对。我们描述了两个实验：一是探讨《朗文当代英语词典》词条词性字段中所包含的与词义消歧相关的信息量。另一个，更实际的，实验试图意义消歧的所有开放类词在文本分配LDOCE同形词作为意义标签，只使用部分的语音信息。我们报告说，92%的公开课单词可以成功地标记以这种方式。我们计划扩展这项工作，并实现一个改进的大规模标记器，其中的描述包括在这里。

基于词对齐的常见问题问答

FAQ-based Question Answering via Word Alignment

在本文中，我们提出了一种新的基于词对齐的方法来解决基于常见问题的问答任务。首先，我们采用一个神经网络模型来计算问题的相似度，其中两个问题之间的词对齐用于提取特征。其次，我们设计了一个基于Bootstrap的特征提取方法来提取一小部分有效的词汇特征。第三，我们提出了一个学习排名算法，训练参数更适合的排名任务。在英语、西班牙语和日语三种语言上进行的实验结果表明，问题相似度模型比基线系统更有效，稀疏特征使top-1准确率提高了5%，学习排名算法的效果明显优于传统方法。我们进一步评估我们的方法上的答案句子选择任务。我们的方法优于所有以前的系统上的标准TREC数据集。

A Simple Post-Processing Technique for Improving Readability Assessment of Texts using Word Mover's Distance

Assessing the proper difficulty levels of reading materials or texts in general is the first step towards effective comprehension and learning. In this study, we improve the conventional methodology of automatic readability assessment by incorporating the Word Mover's Distance (WMD) of ranked texts as an additional post-processing technique to further ground the difficulty level given by a model. Results of our experiments on three multilingual datasets in Filipino, German, and English show that the post-processing technique outperforms previous vanilla and ranking-based models using SVM.

使用平均加权词向量特征的情感分析

Sentiment Analysis Using Averaged Weighted Word Vector Features

本文提出两种结合不同类型词向量并利用情感标注评论词频加权的方法进行情感分析，在多个标准基准数据集上验证其性能优于现有最先进方法。

OPI 在 SemEval 2023 任务 1：面向视觉词义消歧的图像-文本嵌入与多模态信息检索

OPI at SemEval 2023 Task 1: Image-Text Embeddings and Multimodal Information Retrieval for Visual Word Sense Disambiguation

本文提出一种融合 CLIP 多模态嵌入、排序学习与知识库检索的视觉词义消歧系统，在 SemEval 2023 多语言任务中获第三名，并在波斯语赛道夺冠。

逐词阅读法律问题：2144条越南法律标题的嵌入轨迹

Reading a Legal Question Word by Word: Embedding Trajectories of 2,144 Vietnamese Legal Headlines

本研究逐词追踪法律标题嵌入轨迹，发现黄金文章在6-7个内容词后锁定，数字影响最大，并归纳出六种锁定原型，提出上下文调制的加法行走模型。

Generate & Rank: A Multi-task Framework for Math Word Problems

Math word problem (MWP) is a challenging and critical task in natural language processing. Many recent studies formalize MWP as a generation task and have adopted sequence-to-sequence models to transform problem descriptions to mathematical expressions. However, mathematical expressions are prone to minor mistakes while the generation objective does not explicitly handle such mistakes. To address this limitation, we devise a new ranking task for MWP and propose Generate & Rank, a multi-task framework based on a generative pre-trained language model. By joint training with generation and rankin…

基于低秩双随机矩阵分解的词嵌入

Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition

将单词编码为向量的词嵌入是自然语言处理的重要起点，并且通常用于许多基于文本的机器学习任务。然而，在大多数当前的词嵌入方法中，嵌入空间中的相似性在学习中没有被优化。在本文中，我们提出了一种新的邻居嵌入方法，直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走，从而能够更好地揭示词之间的主题。实验结果表明，与现有的词嵌入方法相比，该方法更适合于各种查询。

语言复杂性：英语与波兰语，文本与语料库

Linguistic complexity: English vs. Polish, text vs. corpus

我们分析了在选定的英语和波兰语文本中的单词的等级频率分布。我们发现，lemmatized（基本）的单词形式的规模不变制度打破后约二十年，而它可能是一致的，为整个范围的曲折的单词形式的排名。我们还发现，由不同作者写的文本组成的语料库的基本规模不变制度被打破更强烈的情况下，可比语料库由同一作者写的文本。类似地，对于由从其他语言翻译成波兰语的文本组成的语料库，尺度不变的制度被打破得比本地波兰语文本的可比语料库更强烈。此外，我们发现，如果用适当的词性标记单词，只有动词才会显示出几乎尺度不变的秩频分布。

Just Rank: Rethinking Evaluation with Word and Sentence Similarities

Word and sentence embeddings are useful feature representations in natural language processing. However, intrinsic evaluation for embeddings lags far behind, and there has been no significant update since the past decade. Word and sentence similarity tasks have become the de facto evaluation method. It leads models to overfit to such evaluations, negatively impacting embedding models' development. This paper first points out the problems using semantic similarity as the gold standard for word and sentence embedding evaluations. Further, we propose a new intrinsic evaluation method called EvalR…

作为广义低秩模型的词嵌入算法及其规范型

Word Embedding Algorithms as Generalized Low Rank Models and their Canonical Form

词嵌入算法产生非常可靠的词的特征表示，这些特征表示由神经网络模型在不断增长的大量NLP任务中使用。因此，NLP从业者必须了解他们的单词表示是如何产生的，以及为什么它们如此有影响力。目前的工作提出了简单的嵌入框架，概括了国家的最先进的现有词嵌入算法（包括Word 2 vec（SGNS）和GloVe）的保护伞下的广义低秩模型。我们得出，这两种算法都试图产生嵌入的内积，近似逐点互信息（PMI）的统计在语料库中。一旦转换为简单嵌入，这些模型的比较表明，这些成功的嵌入器都类似于由内积参数化的PMI的直接最大似然估计（MLE）（嵌入之间）。这个MLE诱导我们提出的新的词嵌入模型，希尔伯特-MLE，作为简单嵌入框架的典型代表。我们经验比较这些算法与17个不同的数据集上的评估。Hilbert-MLE在每个外部评估（新闻分类，情感分析，POS标记和超意义标记）上都始终观察到第二好的性能，而第一好的模型取决于任务的不同。此外，Hilbert-MLE一致地观察到双向LSTM中权重的随机初始化结果的最小方差。我们的实证结果表明，Hilbert-MLE是一个非常一致的词嵌入算法，可以可靠地集成到现有的NLP系统，以获得高质量的结果。

Regional Negative Bias in Word Embeddings Predicts Racial Animus--but only via Name Frequency

The word embedding association test (WEAT) is an important method for measuring linguistic biases against social groups such as ethnic minorities in large text corpora. It does so by comparing the semantic relatedness of words prototypical of the groups (e.g., names unique to those groups) and attribute words (e.g., 'pleasant' and 'unpleasant' words). We show that anti-black WEAT estimates from geo-tagged social media data at the level of metropolitan statistical areas strongly correlate with several measures of racial animus--even when controlling for sociodemographic covariates. However, we …

一个词就足够：用于神经文本排序的最小对抗扰动

One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking

本文提出了一种通过插入或替换一个语义对齐的词来提升目标文档排名的最小对抗扰动方法，并展示了其在神经文本排序中的有效性。

基于Transformer的语言模型的相似文本检索与排序

Transformer Based Language Models for Similar Text Retrieval and Ranking

大多数用于相似文本检索和具有长自然语言查询的排序的方法在某种程度上依赖于具有彼此共同的词的查询和响应。最近的应用基于transformer的神经语言模型的文本检索和排名问题已经非常有前途，但仍然涉及一个两步的过程中，结果候选人首先通过袋的字为基础的方法，然后重新排名的神经Transformer。在本文中，我们介绍了新的方法，有效地应用神经Transformer模型相似的文本检索和排名，而无需初始的词袋为基础的步骤。通过消除基于词袋的步骤，我们的方法能够准确地检索和排名结果，即使他们没有共同的非停用词的查询。我们通过使用来自Transformers（BERT）的双向编码器表示来创建长度为1的文本的矢量化表示，以及矢量最近邻搜索索引来实现这一点。我们演示了使用BERT来完成这项任务的监督和无监督手段。

生成式词嵌入模型及其低秩半正定解

A Generative Word Embedding Model and its Low Rank Positive Semidefinite Solution

现有的大多数词嵌入方法可以分为神经嵌入模型和基于矩阵分解（MF）的方法。然而，一些模型是不透明的概率解释，和MF为基础的方法，通常使用奇异值分解（SVD）解决，可能会导致语料库信息的损失。此外，期望将诸如主题、情感或写作风格的全局潜在因素并入到词嵌入模型中。由于生成模型提供了一个原则性的方式来纳入潜在的因素，我们提出了一个生成的词嵌入模型，这是很容易解释，并可以作为更复杂的潜在因素模型的基础。模型推理归结为一个低秩加权半正定逼近问题。其优化方法是通过对子矩阵进行特征分解，然后进行在线分块回归，这是可扩展的，避免了SVD中的信息丢失。在7个常见的基准数据集上的实验中，我们的向量与word2vec竞争，并且优于其他基于MF的方法。

基于积分变换理论和强化学习的自然语言涌现建模

Modeling natural language emergence with integral transform theory and reinforcement learning

Zipf定律预测了语言交流系统中词序和频率之间的幂律关系，并且在各种自然语言处理应用中得到了广泛报道。然而，自然语言的出现通常被建模为说话者和听者利益之间的偏见的函数，这缺乏一个直接的方式有关的信息理论偏见Zipfian等级。偏见的功能也是对说话者和听话者之间交流努力的一种非直觉的解释。我们针对这些缺点，提出了一种新的积分变换和内核映射到相应的词的频率等级表示在任何任意的相变点，从而在一个直接的方式来链接沟通的努力（建模扬声器/听众的偏见），以特定的词汇使用（由字排名）。我们展示了我们的积分变换的实际效用，通过展示如何从偏置到秩的变化导致在图像分类任务中更高的准确性和性能，用于将单词标签分配给从CIFAR 10随机子采样的图像。我们将此任务建模为说话者和听话者之间的强化学习游戏，并比较了偏见和Zipfian单词等级对两个代理之间的沟通性能（和准确性）的相对影响。

分布式词表示的线性代数结构

On the Linear Algebraic Structure of Distributed Word Representations

在这项工作中，我们利用分布式单词表示的线性代数结构来自动扩展知识库，并允许机器学习关于世界的新事实。我们的目标是以更简单的方式从语料库中提取结构化事实，而不应用分类器或模式，只使用单词的共现统计。我们证明了词嵌入的线性代数结构可以用来减少学习事实的方法的数据要求。特别是，我们证明了属于一个共同的类别，或对字满足一定的关系，形成一个低秩子空间中的投影空间。我们使用奇异值分解（SVD）计算这个低秩子空间的基础，然后使用这个基础来发现新的事实，并为我们还没有向量的不太频繁的单词拟合向量。

空间也是一个词吗？

Is space a word, too?

换句话说，秩-频分布长期以来一直被认为符合一个潜在的普遍现象，即齐普夫定律。这一经验现象的假设形式被本尼迪克特·曼德尔布罗特提炼为现在被称为齐普夫-曼德尔布罗特定律的形式。与此同时，Herbet Simon提出了一个可能解释齐普夫定律的选择模型。然而，西蒙和曼德尔布罗特之间的重大争议，显着的经验例外，以及西蒙的模型和齐普夫-曼德尔布罗特定律之间缺乏强有力的经验联系，留下了普遍性和机械生成的问题。我们通过展示分词的暗物质，即，空格、标点等，把齐普夫-曼德布洛定律和西蒙的机械过程联系起来。这就解释了曼德尔布罗特的改进只不过是一个模糊因子，适应了排除秩频暗物质的影响。因此，整合这些非词对象解决了更普遍的等级频率定律。由于这依赖于空间等的整合，我们发现支持的假设，$all$产生的共同进程，从物理的角度来看，空间是一个字，太。

使用面向解码器模型的低秩方言适配器预测游戏对话的目标词

Predicting the Target Word of Game-playing Conversations using a Low-Rank Dialect Adapter for Decoder Models

本文提出名为 LoRDD 的解码器模型架构，结合任务适配器与基于对比学习的方言适配器，在 MD-3 数据集上执行目标词预测任务，显著提升了方言对话性能并缩小了与美国英语的差距。

基于语义相关性的文本识别重排序器

Semantic Relatedness Based Re-ranker for Text Spotting

文本蕴涵、剽窃检测或文档聚类等应用依赖于语义相似性的概念，通常使用LDA等降维技术或基于嵌入的神经方法。我们提出了一个场景，语义相似性是不够的，我们设计了一个神经方法来学习语义相关性。该场景是在野外进行文本识别，其中必须识别和识别图像中的文本（例如，街道标志，广告或公共汽车目的地）。我们的目标是通过利用语义信息来提高视觉系统的性能。我们的理由是，要发现的文本通常与它出现的图像上下文相关（Delta-airplane或Quarters-parking等词对不相似，但明显相关）。我们展示了如何学习单词到单词或单词到句子的相关性得分可以将文本识别系统的性能提高到2.9分，优于基准数据集中的其他指标。

词汇和音节多层网络的自组织模式

Self-organizing Pattern in Multilayer Network for Words and Syllables

语言学家的最终目标之一是找到人类语言的共性。虽然单词通常被认为是代表语言形式和意义之间的任意映射，我们提出了一个新的普遍规律，突出了音节，这是补充齐普夫的同样重要的作用。通过绘制英汉语料库的词和音节的等级-等级频率分布图，可以看到明显的线条，并可以拟合成一条主曲线。我们发现基于这种分析的词和音节的多层网络表现出自组织的特征，这在很大程度上依赖于音节及其连接的包含。本文推导了网络俚语流行度的解析表达式，并将其应用于网络俚语流行度的量化分析，为进化语言学提供了一种新的工具。

汉字的位频关系

Rank-frequency relation for Chinese characters

我们表明，Zipf定律的汉字完全成立足够短的文本（几千个不同的字符）。其有效性的情况类似于齐普夫定律的短英语文本中的单词。对于长中文文本（或短中文文本的混合物），汉字的等级频率关系显示两层，层次结构，结合了Zipfian幂律制度的频繁字符（第一层）与指数状制度的不太频繁的字符（第二层）。对于这两层，我们提供了不同的（虽然相关）理论描述，包括低频字符的范围（hapax legomena）。通过对汉字和英语词的词频关系的对比分析，可以看出汉字在汉语写作中所起的作用与字母系统中的词所起的作用是一样的。

科技语篇的意义信息空间

Informational Space of Meaning for Scientific Texts

在自然语言处理中，文本意义的自动提取是一个重要的问题。我们的重点是短的科学文本（摘要或简要报告）的意义的计算分析。本文提出了一种向量空间模型来量化词语和文本的意义。我们引入了意义空间，在这个意义空间中，一个词的意义由一个关于文本所属主题类别的相对信息增益（RIG）向量来表示，这些信息增益可以通过观察文本中的词来获得。基于莱斯特科学语料库（LSC）和莱斯特科学词典核心（LScDC），将该方法应用于语义空间的构建。LSC是一个包含1，673，350个摘要的科学语料库，LScDC是一个科学词典，其中的单词是从LSC中提取的。LSC中的每个文本至少属于Web of Science（WoS）的252个主题类别中的一个。这些类别用于构建信息增益的向量。的意义空间的描述和统计分析的LSC与LScDC。建议的表示模型的有用性进行评估，通过在每个类别中排名靠前的话。信息量最大的n个单词被排序。我们证明了基于RIG的单词排名比基于原始词频的排名在确定单词的科学特定含义和重要性方面更有用。该模型的基础上RIG被证明有能力脱颖而出的主题特定的词在类别中。最具信息性的词是252类。新的科学词典和103，998 x 252词类别RIG矩阵可在线获得。意义空间的分析为我们提供了一个工具，进一步探索量化的文本意义使用更复杂的和上下文相关的意义模型，使用词及其组合的共现。

一种无监督的文本语义句子排序方案

An Unsupervised Semantic Sentence Ranking Scheme for Text Documents

本文提出了语义句子排名（SSR），一个无监督的计划自动排名句子在一个单一的文件，根据其相对重要性。特别地，SSR从文本文档中提取关键词和短语，并使用语义度量来分别构建短语和词的语义短语图和句子的语义句子图。它应用了两种偏向文章结构的PageRank变体，对第一个图上的短语和单词以及第二个图上的句子进行评分。然后，它将这些分数结合起来，生成每个句子的最终分数。最后，SSR解决了一个多目标优化问题，排名句子的基础上，他们的最终得分和主题的多样性，通过语义子主题聚类。在二次时间内运行的SSR的实现，它优于，在SummBank基准，每个单独的法官的排名，并与所有法官的综合排名相比。

齐普夫定律与同义词过度使用的避免

Zipf's Law and Avoidance of Excessive Synonymy

齐普夫定律指出，如果语言中的单词在文本中以频率递减的顺序排列，则单词的频率与其排名成反比。这是一个非常强大的实验观察，但到目前为止，它逃脱了令人满意的理论解释。我们认为齐普夫定律可能源于词义扩展和同义词竞争所主导的词义演变。

CoLI-Machine Learning Approaches for Code-mixed Language Identification at the Word Level in Kannada-English Texts

The task of automatically identifying a language used in a given text is called Language Identification (LI). India is a multilingual country and many Indians especially youths are comfortable with Hindi and English, in addition to their local languages. Hence, they often use more than one language to post their comments on social media. Texts containing more than one language are called "code-mixed texts" and are a good source of input for LI. Languages in these texts may be mixed at sentence level, word level or even at sub-word level. LI at word level is a sequence labeling problem where ea…