A Rank-Based Similarity Metric for Word Embeddings
University of California Santa Barbara（加州大学圣巴巴拉分校）；Aix-Marseille University（艾克斯-马赛大学）；Singapore University of Technology and Design（新加坡科技设计大学）
词嵌入最近已经成为NLP中表示词义的标准。词对之间的语义相似度已经成为这些表示的最常见的评估基准，向量余弦通常被用作唯一的相似度度量。在本文中，我们报告的实验与排名为基础的度量的WE，它执行的相似性估计和超越它在最近推出的离群点检测和具有挑战性的任务，从而表明，基于排名的措施可以提高聚类质量的向量余弦。
2018-05-04 cs.CL
A Two Parameters Equation for Word Rank-Frequency Relation
National Institute of Information and Communications Technology（国立信息与通信技术研究所）
令$f (\cdot)$为单词的绝对频率，$r$为单词按频率降序排列的等级，则以下函数可以拟合等级-频率关系\[ f (r;s,t) = \left(\frac{r_{\tt max}}{r}\right)^{1-s} \left(\frac{r_{\tt max}+t \cdot r_{\tt exp}}{r+t \cdot r_{\tt exp}}\right)^{1+(1+t)s} \]，其中$r_{\tt max}$和$r_{\tt exp}$分别为等级的最大值和期望值; $s>0$和$t>0$为根据数据估计的参数。对于行为良好的数据，应该有$s<1$和$s \cdot t < 1$。
2022-05-02 cs.CL
Low-Rank Approximation of Matrices for PMI-based Word Embeddings
Nazarbayev University（纳扎尔巴耶夫大学）
我们进行了实证评估的几种方法的低秩近似的问题，获得基于PMI的词嵌入。所有的词向量都是在从英文维基百科（enwik9）中提取的大型语料库的一部分上训练的，该语料库被分成两个大小相等的数据集，从中获得PMI矩阵。使用重复测量设计将低秩近似（SVD、NMF、QR）方法和向量维数（250、500）分配给每个PMI矩阵重复样本。实验结果表明，与其他两种低秩近似方法相比，截断SVD方法得到的词向量在相似性和类比性两个下游任务上的性能最好。
2019-09-21 cs.CL
A Statistical Model of Word Rank Evolution
University of California Merced（加利福尼亚大学默塞德分校）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
大量语言数据集的可用性使数据驱动的方法能够研究语言变化。Google图书语料库的单字频率数据集被用来调查八种语言的单词排名动态。我们观察了从1900年到2008年的一元图的排名变化，并将其与我们为分析开发的赖特-费舍尔启发模型进行了比较。该模型模拟了一个中性的进化过程，限制没有消失和添加的单词。这项工作解释了该模型的数学框架-写为具有多项式转移概率的马尔可夫链-以显示单词的频率如何随时间变化。从我们对数据和模型的观察来看，单词等级稳定性表现出两种类型的特征：（1）等级的增加/减少是单调的，或者（2）等级保持不变。根据我们的模型，高排名的单词往往更稳定，而低排名的单词往往更不稳定。有些词的等级变化有两种方式：（a）随着时间的推移，等级的小幅度上升/下降变化的积累;（b）等级上升/下降的冲击。我们所研究的所有语言中的大多数单词都是等级稳定的，但并不像中性模型预测的那样稳定。停用词和Swadesh词被观察到在八种语言中排名稳定，表明在既定语言中的语言一致性。这些特征表明，所有语言中的单字频率都以一种与纯粹中性进化过程不一致的方式发生了变化。
2022-02-14 cs.CL stat.AP
Word frequency-rank relationship in tagged texts
Instituto de Física Enrique Gaviola, Consejo Nacional de Investigaciones Científicas y Técnicas（恩里克·加维奥拉物理研究所，国家科学技术研究委员会）；Universidad Nacional de Córdoba（科尔多瓦国立大学）；Centro Atómico Bariloche（巴里洛切原子能中心）；Instituto Balseiro（巴尔塞iro研究所）；Comisión Nacional de Energía Atómica（国家原子能委员会）；Universidad Nacional de Cuyo（库约国立大学）；Consejo Nacional de Investigaciones Científicas y Técnicas（国家科学技术研究委员会）
我们分析了频率等级关系的子词汇对应于三个不同的语法类（名词，动词，和其他）在收集的文学作品在英语中，其词已被自动标记，根据其语法作用。与假设属于每个类别的词均匀分布在整个工作的频率排名词汇的零假设相比，我们揭示了三个类别之间的统计显着差异。这一结果表明，频率等级关系可能反映了与语法功能相关的语言特征。
2021-06-10 cs.CL
BRUMS at SemEval-2020 Task 3: Contextualised Embeddings for Predicting the (Graded) Effect of Context in Word Similarity
Birmingham City University（伯明翰城市大学）；University of Wolverhampton（伍尔弗汉普顿大学）
本文介绍了团队BRUMS提交SemEval-2020任务3：上下文中的分级单词相似性。该系统采用了最先进的上下文化词嵌入，它有一些特定于任务的适应，包括堆叠嵌入和平均嵌入。总体而言，该方法在所有语言中都获得了良好的评价分数，同时保持了简单性。在最终排名之后，我们的方法在每种语言的前5名解决方案中排名第一，同时保留了芬兰语子任务2的第一名。
2021-05-20 cs.AI cs.CL
Modeling natural language emergence with integral transform theory and reinforcement learning
Stanford University（斯坦福大学）；Quiltomics
Zipf定律预测了语言交流系统中词序和频率之间的幂律关系，并且在各种自然语言处理应用中得到了广泛报道。然而，自然语言的出现通常被建模为说话者和听者利益之间的偏见的函数，这缺乏一个直接的方式有关的信息理论偏见Zipfian等级。偏见的功能也是对说话者和听话者之间交流努力的一种非直觉的解释。我们针对这些缺点，提出了一种新的积分变换和内核映射到相应的词的频率等级表示在任何任意的相变点，从而在一个直接的方式来链接沟通的努力（建模扬声器/听众的偏见），以特定的词汇使用（由字排名）。我们展示了我们的积分变换的实际效用，通过展示如何从偏置到秩的变化导致在图像分类任务中更高的准确性和性能，用于将单词标签分配给从CIFAR 10随机子采样的图像。我们将此任务建模为说话者和听话者之间的强化学习游戏，并比较了偏见和Zipfian单词等级对两个代理之间的沟通性能（和准确性）的相对影响。
2018-11-30 cs.AI cs.CL
Crowdsourcing Relative Rankings of Multi-Word Expressions: Experts versus Non-Experts
University of Helsinki（赫尔辛基大学）；University of Gothenburg（哥德堡大学）
在这项研究中，我们调查到何种程度的专家和非专家同意在众包实验的困难问题。我们要求非专家（瑞典语的第二语言学习者）和两组专家（瑞典语作为第二/外语的教师和CEFR专家）在众包实验中对多词表达进行排名。我们发现，所有三个测试组的排名相关程度非常高，这表明，在比较环境中产生的判断不会受到专业见解瑞典语作为第二语言。
2022-06-17 cs.CL
Non-Zipfian Distribution of Stopwords or Function Words and Subset Selection Models
该研究提出了一种基于Hill函数的停用词选择模型，通过分析停用词和非停用词的排名-频率分布，揭示了其在Zipf定律下的分布特性。
2026-07-24 cs.CL
RAPO: An Adaptive Ranking Paradigm for Bilingual Lexicon Induction
Microsoft（微软）
双语词典归纳通过对齐两种语言中独立训练的词嵌入来归纳词的翻译。现有的方法通常集中在最小化对齐对中的单词之间的距离，同时遭受区分正候选者和负候选者之间的相对顺序的低辨别能力。此外，映射功能是全局共享的所有的话，其性能可能会受到不同语言的分布偏差。在这项工作中，我们提出了一种新的面向排名的归纳模型RAPO学习个性化的映射功能，为每个字。RAPO能够同时享受单个词的独特性和跨语言同构的优点。在公共数据集上的大量实验结果表明了该方法的优越性。我们的代码在\url{https://github.com/Jlfj345wf/RAPO}中公开提供。
2022-10-18 cs.AI cs.CL cs.LG
Learning Better Word Embedding by Asymmetric Low-Rank Projection of Knowledge Graph
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
词嵌入是指自然词的低维密集向量表示，它在许多自然语言处理任务中表现出了强大的功能。然而，自由文本语料库中作为训练数据的信息不准确和不完整可能会使其受到影响。为了应对这一挑战，已经有相当多的作品利用知识图谱作为额外的信息源来提高词嵌入的质量。虽然这些工作取得了一定的成功，但他们忽略了一些关于知识图谱的重要事实：（i）知识图谱中的许多关系是\emph{many-to-one}，\emph{one-to-many}甚至\emph{many-to-many}，而不是简单的\emph{one-to-one} ;（ii）知识图谱中的大多数头实体和尾实体来自非常不同的语义空间。为了解决这些问题，在本文中，我们提出了一个新的算法名为ProjectNet。ProjecNet在使用不同的低秩投影矩阵进行转换后，对头部和尾部实体之间的关系进行建模。低秩投影可以允许实体之间的非\emph{one-to-one}关系，而头部和尾部实体的不同投影矩阵允许它们起源于不同的语义空间。实验结果表明，ProjectNet的词嵌入比以前的工作更准确，从而导致各种自然语言处理任务的明显改善。
2015-06-14 cs.CL
Words ranking and Hirsch index for identifying the core of the hapaxes in political texts
School of Business London South Bank University（伦敦南岸大学商学院）；Sapienza University of Rome（罗马第一大学）；School of Business University of Leicester（莱斯特大学商学院）；Bucharest University of Economic Studies（布加勒斯特经济研究大学）
本文对官方政治演讲的内容进行了定量分析。我们研究了从华盛顿到特朗普的美国总统发表的大约一千次谈话。特别是，我们搜索的相关性的罕见的话，即那些只说一次，在每个演讲-所谓的hapaxes。我们实现了Zipf-Mandelbrot类型的秩大小过程，用于讨论整个语音集上的hapaxes频率规律性。从获得的秩大小法，我们定义和检测的hapaxes集的核心通过一个程序的基础上的赫希指数的变体。我们根据美国总统的演讲来讨论由此产生的词汇表。我们进一步表明，这一核心hapaxes本身可以很好地拟合通过Zipf-Mandelbrot法，并包含元素生产偏差之间的散点图和拟合曲线-所谓的国王和副罗伊效应的低秩。一些社会政治的见解来自于对美国总统的信息所获得的调查结果。
2020-06-13 cs.CL
Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition
Norwegian University of Science and Technology（挪威科技大学）；Aalto University（阿尔托大学）
将单词编码为向量的词嵌入是自然语言处理的重要起点，并且通常用于许多基于文本的机器学习任务。然而，在大多数当前的词嵌入方法中，嵌入空间中的相似性在学习中没有被优化。在本文中，我们提出了一种新的邻居嵌入方法，直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走，从而能够更好地揭示词之间的主题。实验结果表明，与现有的词嵌入方法相比，该方法更适合于各种查询。
2018-12-12 cs.CL cs.LG stat.ML
Crosslingual Document Embedding as Reduced-Rank Ridge Regression
EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）；BlackRock（贝莱德）
最近，人们对将基于向量的单词表示扩展到多种语言非常感兴趣，这样单词就可以跨语言进行比较。在本文中，我们将重点从单词转移到文档，并介绍了一种方法，用于将以任何语言编写的文档嵌入到一个独立于语言的向量空间中。对于训练，我们的方法利用多语言语料库，其中相同的概念以多种语言（但不一定通过精确的翻译）覆盖，例如维基百科。我们的方法Cr5（跨语言降秩岭回归）首先训练一个基于岭回归的分类器，该分类器使用特定于语言的词袋特征来预测给定文档的概念。我们表明，当约束学习的权重矩阵是低秩的，它可以被分解，以获得所需的映射从语言特定的词袋语言无关的嵌入。与大多数先前的方法相反，这些方法使用预先训练的单语词向量，对它们进行后处理以使它们跨语言，最后对词向量进行平均以获得文档向量，Cr5是端到端训练的，因此是原生的跨语言和文档级。此外，由于我们的算法使用奇异值分解作为其核心操作，它是高度可扩展的。实验表明，我们的方法实现了国家的最先进的跨语言文档检索任务的性能。最后，虽然没有经过嵌入句子和单词的训练，但它在跨语言句子和单词检索任务上也取得了有竞争力的表现。
2019-04-08 cs.CL
Representing Sentences as Low-Rank Subspaces
University of Illinois at Urbana Champaign（伊利诺伊大学香槟分校）
句子是自然语言的重要语义单位。一个通用的，分布式表示的句子，可以捕捉潜在的语义是有益的多个下游应用程序。我们观察到一个简单的句子几何--给定句子的单词表示（在所有SemEval数据集中平均10.23个单词，标准差为4.84）大致位于低秩子空间（大致为4）。基于这种观察，我们用词向量所构成的低秩子空间来表示句子。这种无监督的表示通过19个不同数据集上的语义文本相似性任务进行了经验验证，平均比复杂的神经网络模型（包括跳过思维向量）高出15%。
2017-04-18 cs.CL
An exploratory study of L1-specific non-words
在本文中，我们探讨L1特定的非词，即非词在一个目标语言（在这种情况下，瑞典语），重新排名由不同的语言语言模型。我们推测，母语为某一特定语言的人对母语特有的非词的反应不同于对一般非词的反应。我们提出了两个小的案例研究的结果，探讨是否重新排名不同的语言模型的非单词导致感知差异“瑞典”（试点研究1）和是否德语和英语为母语的人有更长的反应时间在词汇决策任务时，提出了各自的L1特定的非单词（试点研究2）。初步的结果似乎表明，L1特定的非词处理第二慢，纯粹的瑞典人期待的非词。
2020-09-02 cs.CL
Word Embedding Algorithms as Generalized Low Rank Models and their Canonical Form
McGill University（麦吉尔大学）
词嵌入算法产生非常可靠的词的特征表示，这些特征表示由神经网络模型在不断增长的大量NLP任务中使用。因此，NLP从业者必须了解他们的单词表示是如何产生的，以及为什么它们如此有影响力。目前的工作提出了简单的嵌入框架，概括了国家的最先进的现有词嵌入算法（包括Word 2 vec（SGNS）和GloVe）的保护伞下的广义低秩模型。我们得出，这两种算法都试图产生嵌入的内积，近似逐点互信息（PMI）的统计在语料库中。一旦转换为简单嵌入，这些模型的比较表明，这些成功的嵌入器都类似于由内积参数化的PMI的直接最大似然估计（MLE）（嵌入之间）。这个MLE诱导我们提出的新的词嵌入模型，希尔伯特-MLE，作为简单嵌入框架的典型代表。我们经验比较这些算法与17个不同的数据集上的评估。Hilbert-MLE在每个外部评估（新闻分类，情感分析，POS标记和超意义标记）上都始终观察到第二好的性能，而第一好的模型取决于任务的不同。此外，Hilbert-MLE一致地观察到双向LSTM中权重的随机初始化结果的最小方差。我们的实证结果表明，Hilbert-MLE是一个非常一致的词嵌入算法，可以可靠地集成到现有的NLP系统，以获得高质量的结果。
2019-11-06 cs.CL cs.LG
Is this word borrowed? An automatic approach to quantify the likeliness of borrowing in social media
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Microsoft Research India（微软印度研究院）
语码混合或语码转换是在一次会话中两种或多种语言之间自然转换的现象。在一种语言中使用一个外来词;然而，并不一定意味着说话者是语码转换，因为语言经常从其他语言借用词汇。如果一个词是借来的，它就成为一种语言词汇的一部分;而在语码转换过程中，说话者意识到对话中涉及到外国词或短语。识别双语者使用的外来词是借用还是语码转换是多语理论的重要组成部分，也是多语社区语言和语音技术发展的必要前提。在本文中，我们提出了一系列新的计算方法来识别一个词的借来的喜欢，基于社交媒体信号。首先提出基于上下文的聚类方法从社交媒体数据中抽取一组候选词，然后根据用户在不同推文中对这些词的使用情况，提出三个新颖且相似的度量标准，对候选词进行评分和排序，以表明其借用的喜好。我们将这些排名与通过人类判断实验构建的真实排名进行比较。两个排名之间的斯皮尔曼等级相关性（所有三个指标变量接近0.62）是文献中报道的最具竞争力的现有基线值（0.26）的两倍多。其他一些引人注目的观察结果是，（i）从年轻参与者（年龄小于30岁）中得出的地面真实数据的相关性高于老年参与者，（ii）那些使用混合语言发推文的参与者最少，提供了最好的借用信号。
2017-03-15 cs.CL
FAQ-based Question Answering via Word Alignment
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们提出了一种新的基于词对齐的方法来解决基于常见问题的问答任务。首先，我们采用一个神经网络模型来计算问题的相似度，其中两个问题之间的词对齐用于提取特征。其次，我们设计了一个基于Bootstrap的特征提取方法来提取一小部分有效的词汇特征。第三，我们提出了一个学习排名算法，训练参数更适合的排名任务。在英语、西班牙语和日语三种语言上进行的实验结果表明，问题相似度模型比基线系统更有效，稀疏特征使top-1准确率提高了5%，学习排名算法的效果明显优于传统方法。我们进一步评估我们的方法上的答案句子选择任务。我们的方法优于所有以前的系统上的标准TREC数据集。
2015-07-09 cs.CL
All that is English may be Hindi: Enhancing language identification through automatic ranking of likeliness of word borrowing in social media
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Microsoft Research India（微软研究院印度分部）
本文提出基于社交媒体信号识别单词被借用可能性的计算方法，其预测表现优于基线两倍多，并发现88%的外来语标签应被替换为母语标签，揭示了自动语言识别系统的巨大改进空间。
2017-07-29 cs.CL
A Generative Word Embedding Model and its Low Rank Positive Semidefinite Solution
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)（南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心（LILY））；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
现有的大多数词嵌入方法可以分为神经嵌入模型和基于矩阵分解（MF）的方法。然而，一些模型是不透明的概率解释，和MF为基础的方法，通常使用奇异值分解（SVD）解决，可能会导致语料库信息的损失。此外，期望将诸如主题、情感或写作风格的全局潜在因素并入到词嵌入模型中。由于生成模型提供了一个原则性的方式来纳入潜在的因素，我们提出了一个生成的词嵌入模型，这是很容易解释，并可以作为更复杂的潜在因素模型的基础。模型推理归结为一个低秩加权半正定逼近问题。其优化方法是通过对子矩阵进行特征分解，然后进行在线分块回归，这是可扩展的，避免了SVD中的信息丢失。在7个常见的基准数据集上的实验中，我们的向量与word2vec竞争，并且优于其他基于MF的方法。
2015-08-16 cs.CL cs.LG stat.ML
Molding CNNs for text: non-linear, non-consecutive convolutions
Massachusetts Institute of Technology（麻省理工学院）
深度学习的成功通常来自于精心选择的操作构建块。在这项工作中，我们修改了CNN中的时间卷积运算，以更好地适应文本处理。我们不使用连接单词表示，而是使用张量代数并使用低秩n-gram张量来直接利用已经在卷积阶段的单词之间的相互作用。此外，我们将n-gram卷积扩展到非连续单词，以识别具有插入单词的模式。通过低秩张量和模式加权的组合，我们可以通过动态规划有效地评估所得卷积运算。我们测试标准的情绪分类和新闻分类任务的架构。我们的模型在准确性和训练速度方面都达到了最先进的性能。例如，我们在细粒度情感分类任务中获得了51.2%的准确率。
2015-08-18 cs.AI cs.CL
Transformer Based Language Models for Similar Text Retrieval and Ranking
Casetext Machine Learning（凯斯文本机器学习部门）
大多数用于相似文本检索和具有长自然语言查询的排序的方法在某种程度上依赖于具有彼此共同的词的查询和响应。最近的应用基于transformer的神经语言模型的文本检索和排名问题已经非常有前途，但仍然涉及一个两步的过程中，结果候选人首先通过袋的字为基础的方法，然后重新排名的神经Transformer。在本文中，我们介绍了新的方法，有效地应用神经Transformer模型相似的文本检索和排名，而无需初始的词袋为基础的步骤。通过消除基于词袋的步骤，我们的方法能够准确地检索和排名结果，即使他们没有共同的非停用词的查询。我们通过使用来自Transformers（BERT）的双向编码器表示来创建长度为1的文本的矢量化表示，以及矢量最近邻搜索索引来实现这一点。我们演示了使用BERT来完成这项任务的监督和无监督手段。
2020-05-21 cs.CL cs.IR
Semi-automatic WordNet Linking using Word Embeddings
Indian Institute of Technology Bombay（印度理工学院孟买分校）；IITB-Monash Research Academy（印度理工学院孟买分校-莫纳什大学联合研究院）；Monash University（莫纳什大学）
词网是丰富的词汇语义资源。链接词网是词网的扩展，它将不同语言的词网中相似的概念联系起来。这些资源在许多自然语言处理（NLP）应用程序中非常有用，主要是那些基于知识的方法。在这种方法中，这些资源被认为是黄金标准/甲骨文。因此，至关重要的是，这些资源拥有正确的信息。它们是由人类专家创造的。然而，这些资源的手动维护是一件繁琐且昂贵的事情。因此，可以帮助专家的技术是可取的。在本文中，我们提出了一种方法来连接wordnets。给定源语言的同义词集，该方法返回目标语言的潜在候选同义词集的排序列表，人类专家可以从中选择正确的同义词集。我们的技术是能够检索一个冠军同义词在排名前10位的列表中的60%的所有同义词和70%的名词同义词。
2022-01-05 cs.CL
On the Linear Algebraic Structure of Distributed Word Representations
Princeton University（普林斯顿大学）
在这项工作中，我们利用分布式单词表示的线性代数结构来自动扩展知识库，并允许机器学习关于世界的新事实。我们的目标是以更简单的方式从语料库中提取结构化事实，而不应用分类器或模式，只使用单词的共现统计。我们证明了词嵌入的线性代数结构可以用来减少学习事实的方法的数据要求。特别是，我们证明了属于一个共同的类别，或对字满足一定的关系，形成一个低秩子空间中的投影空间。我们使用奇异值分解（SVD）计算这个低秩子空间的基础，然后使用这个基础来发现新的事实，并为我们还没有向量的不太频繁的单词拟合向量。
2015-11-22 cs.CL cs.LG
OPI at SemEval 2023 Task 1: Image-Text Embeddings and Multimodal Information Retrieval for Visual Word Sense Disambiguation
National Information Processing Institute（国家信息处理研究所）
本文提出一种融合 CLIP 多模态嵌入、排序学习与知识库检索的视觉词义消歧系统，在 SemEval 2023 多语言任务中获第三名，并在波斯语赛道夺冠。
2023-04-14 cs.CL
Embedding Lexical Features via Low-Rank Tensors
Harbin Institute of Technology（哈尔滨工业大学）；IBM Watson（IBM沃森）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
现代NLP模型严重依赖工程特征，这些特征通常将单词和上下文信息组合成复杂的词汇特征。这样的组合导致大量的特征，这可能导致过拟合。我们提出了一个新的模型，表示复杂的词汇功能-包括部分的话，上下文信息和标签-在一个张量，捕捉这些部分之间的连接信息。我们将低秩张量近似应用于相应的参数张量，以减少参数空间并提高预测速度。此外，我们研究了两种方法处理功能，包括$n$ -混合长度的克。我们的模型在关系抽取、PP附加和介词消歧等任务上取得了最先进的结果。
2016-04-02 cs.AI cs.CL cs.LG
Is space a word, too?
Drexel University（德雷塞尔大学）
换句话说，秩-频分布长期以来一直被认为符合一个潜在的普遍现象，即齐普夫定律。这一经验现象的假设形式被本尼迪克特·曼德尔布罗特提炼为现在被称为齐普夫-曼德尔布罗特定律的形式。与此同时，Herbet Simon提出了一个可能解释齐普夫定律的选择模型。然而，西蒙和曼德尔布罗特之间的重大争议，显着的经验例外，以及西蒙的模型和齐普夫-曼德尔布罗特定律之间缺乏强有力的经验联系，留下了普遍性和机械生成的问题。我们通过展示分词的暗物质，即，空格、标点等，把齐普夫-曼德布洛定律和西蒙的机械过程联系起来。这就解释了曼德尔布罗特的改进只不过是一个模糊因子，适应了排除秩频暗物质的影响。因此，整合这些非词对象解决了更普遍的等级频率定律。由于这依赖于空间等的整合，我们发现支持的假设，$all$产生的共同进程，从物理的角度来看，空间是一个字，太。
2017-10-20 cond-mat.stat-mech cs.CL
Adapting BERT for Word Sense Disambiguation with Gloss Selection Objective and Example Sentences
Nanyang Technological University（南洋理工大学）
使用预先训练的语言模型（例如BERT）的领域自适应或迁移学习已被证明是许多自然语言处理任务的有效方法。在这项工作中，我们建议制定词义消歧作为一个相关性排名任务，并微调BERT序列对排名任务，以选择最可能的意义定义给定的上下文句子和候选意义定义的列表。我们还介绍了一个数据增强技术的WSD使用现有的例子从WordNet的句子。使用所提出的训练目标和数据增强技术，我们的模型能够在英语全词基准数据集上获得最先进的结果。
2020-10-01 cs.CL cs.LG
Enhancing Cross-lingual Sentence Embedding for Low-resource Languages with Word Alignment
The University of Tokyo（东京大学）
针对低资源语言跨语言词表征对齐不足的问题，本文提出基于现成词对齐模型的显式词对齐框架，结合三项训练目标，显著提升低资源句子嵌入并保持高资源任务性能。
2024-04-03 cs.CL
Reading a Legal Question Word by Word: Embedding Trajectories of 2,144 Vietnamese Legal Headlines
本研究逐词追踪法律标题嵌入轨迹，发现黄金文章在6-7个内容词后锁定，数字影响最大，并归纳出六种锁定原型，提出上下文调制的加法行走模型。
2026-09-10 cs.CL
Associative Measures and Multi-word Unit Extraction in Turkish
Mersin University（梅尔辛大学）
关联度量是“基于文本语料库中两个或多个词的出现和同现来确定它们之间关联强度的数学公式”（Pecina，2010，第138页）。本文的目的是在土耳其国家语料库（TNC）的1000万字子语料库上测试Text-NSP（Banerjee & Pedersen，2003）包含的12个关联度量（Aksan等人，2012年）。对这些指标进行统计比较不在本研究范围之内，将根据它们提供的排名的语言相关性对这些指标进行评估。该研究的重点基本上是优化语料库数据，然后应用的措施，然后，评估这些措施产生的排名作为一个整体，而不是对个别的语言相关性的n-gram。研究结果包括语言内相关的关联措施逗号分隔，句子拆分，小写，平衡良好，有代表性的，1000万字的土耳其语语料库。
2015-07-15 cs.CL
Self-organizing Pattern in Multilayer Network for Words and Syllables
National Tsing Hua University（国立清华大学）
语言学家的最终目标之一是找到人类语言的共性。虽然单词通常被认为是代表语言形式和意义之间的任意映射，我们提出了一个新的普遍规律，突出了音节，这是补充齐普夫的同样重要的作用。通过绘制英汉语料库的词和音节的等级-等级频率分布图，可以看到明显的线条，并可以拟合成一条主曲线。我们发现基于这种分析的词和音节的多层网络表现出自组织的特征，这在很大程度上依赖于音节及其连接的包含。本文推导了网络俚语流行度的解析表达式，并将其应用于网络俚语流行度的量化分析，为进化语言学提供了一种新的工具。
2020-05-05 cs.CL nlin.AO
Rank-frequency relation for Chinese characters
Laboratoire de Physique Statistique et Systèmes Complexes, ISMANS（ISMANS统计物理与复杂系统实验室）；Hua-Zhong Normal University（华中师范大学）；Université du Maine（曼恩大学）；Yerevan Physics Institute（埃里温物理研究所）；University of Heilongjiang（黑龙江大学）
我们表明，Zipf定律的汉字完全成立足够短的文本（几千个不同的字符）。其有效性的情况类似于齐普夫定律的短英语文本中的单词。对于长中文文本（或短中文文本的混合物），汉字的等级频率关系显示两层，层次结构，结合了Zipfian幂律制度的频繁字符（第一层）与指数状制度的不太频繁的字符（第二层）。对于这两层，我们提供了不同的（虽然相关）理论描述，包括低频字符的范围（hapax legomena）。通过对汉字和英语词的词频关系的对比分析，可以看出汉字在汉语写作中所起的作用与字母系统中的词所起的作用是一样的。
2014-01-26 cs.CL physics.data-an
Explaining Math Word Problem Solvers
St. Olaf College（圣奥拉夫学院）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本研究通过扰动输入并评估模型性能，发现神经数学应用题求解器依赖表面词语而非语义逻辑，存在过拟合现象。
2023-07-24 cs.CL
Reverse Operation based Data Augmentation for Solving Math Word Problems
Kyoto University（京都大学）；Peking University（北京大学）；Waseda University（早稻田大学）
数学应用题的自动求解是自然语言处理领域的一个重要课题。最近的模型已经达到了性能瓶颈，需要更多高质量的数据进行训练。我们提出了一种新的数据增强方法，该方法反转数学应用题的数学逻辑，以产生新的高质量数学问题，并引入新的知识点，可以帮助学习数学推理逻辑。我们将增强的数据应用于两个SOTA数学单词问题解决模型，并将我们的结果与强大的数据增强基线进行比较。实验结果表明了该方法的有效性。我们在https://github.com/yiyunya/RODA上发布我们的代码和数据。
2021-11-10 cs.CL
Zipf's law holds for phrases, not words
The University of Vermont（佛蒙特大学）；University of Colorado, Boulder（科罗拉多大学博尔德分校）；Massachusetts Institute of Technology（麻省理工学院）
由于齐普夫定律最初也是最著名的词频定律，它对人类语言的适用性令人惊讶地有限，在尺度上出现明显的突破之前，它的适用性不超过三到四个数量级。在这里，建立在简单的观察，一个或多个单词的短语组成的最连贯的语言单位的意义，我们经验表明，齐普夫定律的短语扩展到多达九个数量级的等级。在这样做的过程中，我们开发了一个原则性和可扩展的随机文本分区的统计机械方法，它开辟了严格的文本分析通过混合长度短语的排名排序丰富的前沿。
2015-03-04 cs.CL physics.soc-ph
Zipf's Law and Avoidance of Excessive Synonymy
齐普夫定律指出，如果语言中的单词在文本中以频率递减的顺序排列，则单词的频率与其排名成反比。这是一个非常强大的实验观察，但到目前为止，它逃脱了令人满意的理论解释。我们认为齐普夫定律可能源于词义扩展和同义词竞争所主导的词义演变。
2007-10-03 cs.CL physics.soc-ph
A Crucial Parameter for Rank-Frequency Relation in Natural Languages
National Institute of Information and Communications Technology（信息通信研究机构）
本研究指出自然语言词频-排名关系模型$f \propto r^{-\alpha} \cdot (r+\gamma)^{-\beta}$的唯一关键参数为描述词汇增长阻力的$\gamma$，提出引入“第零个单词”搜索最优$\gamma$的参数估计方法，并通过案例研究展开讨论。
2024-02-01 cs.CL
Linguistic complexity: English vs. Polish, text vs. corpus
Institute of Nuclear Physics, Polish Academy of Sciences（波兰科学院核物理研究所）；Faculty of Mathematics and Natural Sciences, University of Rzeszów（热舒夫大学数学与自然科学学院）
我们分析了在选定的英语和波兰语文本中的单词的等级频率分布。我们发现，lemmatized（基本）的单词形式的规模不变制度打破后约二十年，而它可能是一致的，为整个范围的曲折的单词形式的排名。我们还发现，由不同作者写的文本组成的语料库的基本规模不变制度被打破更强烈的情况下，可比语料库由同一作者写的文本。类似地，对于由从其他语言翻译成波兰语的文本组成的语料库，尺度不变的制度被打破得比本地波兰语文本的可比语料库更强烈。此外，我们发现，如果用适当的词性标记单词，只有动词才会显示出几乎尺度不变的秩频分布。
2010-07-06 cs.CL physics.soc-ph
Breaking the Softmax Bottleneck: A High-Rank RNN Language Model
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
我们制定语言建模作为一个矩阵分解问题，并表明基于Softmax的模型（包括大多数神经语言模型）的表达能力是有限的Softmax瓶颈。鉴于自然语言高度依赖于上下文，这进一步意味着在实践中，具有分布式词嵌入的Softmax没有足够的能力来建模自然语言。我们提出了一个简单有效的方法来解决这个问题，并改善了国家的最先进的Penn Treebank和WikiText-2的困惑分别为47.69和40.68。该方法在大规模1B Word数据集上也表现出色，在困惑度上超过基线5.6点。
2018-03-02 cs.CL cs.LG
A Multi-language Platform for Generating Algebraic Mathematical Word Problems
University of Moratuwa（莫拉图瓦大学）
现有的方法自动生成数学应用题被剥夺了定制性和创造性，由于其采用的基于模板的机制的固有性质。我们提出了一个解决这个问题的方法，使用深度神经语言生成机制。我们的方法使用字符级长短期记忆网络（LSTM）来生成单词问题，并使用POS（词性）标签来解决生成的问题中发现的约束。我们的方法能够生成英语和僧伽罗语的数学单词问题，准确率超过90%。
2019-11-19 cs.CL cs.LG stat.ML
